apache/dolphinscheduler
کاربرد:
این پلتفرم یک ابزار ارکستراسیون داده‌ای مدرن هست که به توسعه‌دهندگان و مهندسان داده کمک می‌کنه تا گردش‌کارهای پیچیده مدیریت داده رو به صورت بصری و با کمترین کدنویسی طراحی، اجرا و نظارت کنند. ️
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری چندین تسک داده‌ای مثل ETL، پردازش داده، گزارش‌گیری یا آنالیز رو به صورت زمان‌بندی شده و وابسته به هم اجرا کنی، استفاده از این ابزار مناسب‌تره. به‌ویژه در محیط‌هایی که از ابزارهای مختلف داده استفاده می‌شه (مثل Spark، Flink، Hive و غیره) و نیاز به هماهنگی بین آن‌ها وجود داره.
چند مثال از موارد استفاده
- اجرای روزانه گزارش‌های مالی با ترکیب داده‌های از پایگاه‌های مختلف
- فرآیند ETL برای بارگذاری داده به Data Warehouse با وابستگی‌های چندلایه
- هماهنگی بین پردازش‌های دسته‌ای و جریانی در محیط‌های بزرگ داده
- اجرای تست‌های کیفیت داده قبل از بارگذاری نهایی
- ##data
- ##ETL
- ##workflow
- ##low
- ##big
- ##ApacheDolphinScheduler
- ##data
- ##data
- ##open
- ##scheduler