adidas/lakehouse-engine
این یک فریم‌ورک مبتنی بر آپاچی اسپارک و نوشته‌شده با پایتون است که به‌صورت مقیاس‌پذیر و توزیع‌شده، الگوریتم‌های مختلفی برای پیاده‌سازی لیک‌هاوس (Lakehouse) را پشتیبانی می‌کند.
کاربرد:
این ابزار برای ساخت جریان‌های داده (Data Flows) و توسعه محصولات داده‌ای (Data Products) در محیط‌های بزرگ و توزیع‌شده طراحی شده. همچنین با پیکربندی (Configuration Driven) کار می‌کند، یعنی نیاز به کدنویسی دستی کمتری دارید.
در چه شرایطی بهتره استفاده شود؟
وقتی با حجم بالای داده کار می‌کنید و نیاز به یک موتور قدرتمند برای پردازش دارید، مخصوصاً اگر از اسپارک و معماری لیک‌هاوس استفاده می‌کنید. همچنین اگر می‌خواهید بدون نوشتن کدهای پیچیده، جریان‌های داده را مدیریت کنید، این ابزار گزینه مناسبی است.
چند مثال از موارد استفاده:
پردازش داده‌های فروش روزانه در سطح جهانی
ساخت لایه‌های داده برای گزارش‌گیری هوش تجاری
اجرای الگوریتم‌های تحلیلی روی داده‌های خام در Data Lake
ایجاد محصولات داده‌ای استاندارد برای تیم‌های مختلف داخل شرکت
- ##data
- ##lakehouse
- ##spark
- ##python
- ##data
- ##big
- ##adidas
- ##config
- ##data
- ##distributed