teamclairvoyant/airflow-maintenance-dags
این مجموعه‌ای از DAGهای آپاچی ایرفلو است که برای نگهداری و بهینه‌سازی عملکرد خود سیستم ایرفلو طراحی شده است. ️
کاربرد:
این پروژه به شما کمک می‌کند تا وظایف تعمیر و نگهداری مانند پاکسازی لاگ‌ها، مدیریت پایگاه داده، نظارت بر سلامت سیستم و حذف داده‌های منسوخ شده را به صورت خودکار انجام دهید.
در چه شرایطی بهتره استفاده شود؟
وقتی که یک نمونه تولیدی (production) از ایرفلو دارید و نیاز به مدیریت منظم و پایدار آن دارید، استفاده از این DAGها بسیار توصیه می‌شود. به‌ویژه در محیط‌های بزرگ که داده‌های زیادی تولید می‌شود.
چند مثال از موارد استفاده:
- پاکسازی رکوردهای قدیمی از جدول متا دیتا ایرفلو ️
- حذف فایل‌های لاگ منقضی شده از دیسک
- نظارت بر وضعیت دیجستی (health check) سرور ایرفلو
- به‌روزرسانی آمار عملکرد DAGها برای گزارش‌گیری
- ##Airflow
- ##Maintenance
- ##Automation
- ##DataEngineering
- ##Workflow
- ##DevOps
- ##ETL
- ##Monitoring