airscholar/e2e-data-engineering
این یک خط لوله مهندسی داده از ابتدا تا انتها است که با استفاده از ابزارهای مدرن داده، فرآیند جمع‌آوری، پردازش و ذخیره‌سازی داده را به صورت خودکار انجام می‌دهد.
کاربرد:
این پروژه برای ساخت یک سیستم پردازش داده در مقیاس بزرگ طراحی شده و از ابزارهای معروفی مثل Apache Airflow برای اورکستراسیون، Apache Kafka برای جریان داده، Apache Spark برای پردازش توزیع‌شده و Cassandra برای ذخیره‌سازی داده استفاده می‌کند.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری یک سیستم داده پایدار و مقیاس‌پذیر داشته باشی که بتواند داده‌های زنده (real-time) و داده‌های دسته‌ای (batch) را همزمان پردازش کند. همچنین وقتی می‌خوای تمام اجزای سیستم داده رو در محیط‌های مختلف به راحتی اجرا کنی، استفاده از Docker این امکان رو فراهم می‌کنه.
چند مثال از موارد استفاده:
جمع‌آوری داده‌های کاربر از اپلیکیشن‌ها و پردازش بلادرنگ آن‌ها برای تحلیل رفتار کاربری
ساخت خط لوله ETL برای انتقال داده از منابع مختلف به انبار داده
شبیه‌سازی سیستم‌های نظارت بر داده در محیط‌های تولید (production)
آموزش و یادگیری معماری‌های مدرن داده در محیط دانشگاهی یا شخصی
- ##data
- ##apache
- ##apache
- ##apache
- ##cassandra
- ##docker
- ##realtime
- ##etl
- ##big
- ##stream