dimajix/flowman
این یک چارچوب ETL مبتنی بر آپاچی اسپارک است که با رویکردی توصیفی، ساخت و مدیریت خطوط لوله داده پیچیده رو ساده می‌کنه
کاربرد:
برای طراحی، توسعه و اجرای فرآیندهای استخراج، تبدیل و بارگذاری داده (ETL) در مقیاس بزرگ استفاده می‌شه. با استفاده از تعریف‌های متنی (مانند YAML)، کل فرآیند ETL قابل مدیریت و نسخه‌بندی می‌شه
در چه شرایطی بهتره استفاده شود؟
وقتی با داده‌های حجیم کار می‌کنید و نیاز به یک سیستم قابل اعتماد، قابل تست و قابل بازسازی برای پردازش دارید. مناسب محیط‌هایی که نیاز به اتوماسیون و قابلیت اطمینان در خطوط لوله داده دارند، مثل دیتالیک‌ها و دیتاهاب‌ها ️
چند مثال از موارد استفاده:
- بارگذاری داده‌های روزانه از فایل‌های CSV به یک دیتابیس اُنلاين ️
- تبدیل و پاکسازی داده‌های خام در محیط ابری ️
- ایجاد گزارش‌های تجمیعی ماهانه با اجرای خودکار در زمان‌های مشخص
- یکپارچه‌سازی داده از چندین منبع مختلف به یک انبار داده واحد ️
- ##ETL
- ##ApacheSpark
- ##DataPipeline
- ##DataEngineering
- ##BigData
- ##Flowman
- ##CloudData
- ##DataIntegration
- ##YAML
- ##DataAutomation