datazip-inc/olake
این ابزار سریع‌ترین راه‌حل متن‌باز برای کپی‌کری دیتابیس‌ها به درون دریاچه داده (Data Lake) با فرمت‌های باز مانند آپاچی آیسبرگ (Apache Iceberg) است.
کاربرد:
به‌روزرسانی و انتقال داده‌های زنده از دیتابیس‌های مختلف به دریاچه داده برای تحلیل‌های بلادرنگ و مقیاس‌پذیر.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری داده‌های عملیاتی از Postgres, MongoDB, MySQL یا Oracle رو به‌صورت بلادرنگ و کارآمد به یک محیط تحلیلی منتقل کنی.
مخصوصاً در محیط‌هایی که سرعت، قابلیت مقیاس‌پذیری و پشتیبانی از فرمت‌های مدرن داده مثل Iceberg مهمه.
چند مثال از موارد استفاده:
- ساخت خط لوله داده برای هوش تجاری (BI) با داده‌های به‌روز از دیتابیس تراکنشی
- یکپارچه‌سازی داده از چندین منبع دیتابیسی در یک دریاچه داده مرکزی
- پشتیبانی از تحلیل‌های تاریخی و نظارت بر تغییرات داده با قابلیت Time Travel در Iceberg
- ##data
- ##real
- ##apache
- ##data
- ##postgres
- ##mongodb
- ##mysql
- ##oracle
- ##open
- ##etl