alanchn31/Data-Engineering-Projects
این مجموعه پروژه‌های شخصی در حوزه مهندسی داده شامل ابزارها و جریان‌های کاری برای جمع‌آوری، پردازش و ذخیره‌سازی داده‌هاست. ️
کاربرد:
این پروژه‌ها به تو کمک می‌کنن تا داده‌های خام رو از منابع مختلف جمع‌آوری کنی، اون‌ها رو پاکسازی و تبدیل کنی و در انبار داده ذخیره کنی.
در چه شرایطی بهتره استفاده شود؟
وقتی می‌خوای یاد بگیری چطور یک پیپلاین داده بسازی، یا می‌خوای مهارت‌های عملی در حوزه ETL، اتوماسیون داده و مدیریت جریان داده پیاده‌سازی کنی، این پروژه‌ها عالی هستن. همچنین برای کسایی که می‌خوان نمونه‌کار قوی برای استخدام در حوزه داده داشته باشن، مناسبه.
چند مثال از موارد استفاده:
- جمع‌آوری داده از APIهای عمومی و ذخیره‌سازی در دیتابیس
- ایجاد جریان داده بلادرنگ با ابزارهایی مثل Apache Kafka
- پاکسازی و تبدیل داده با Python و ابزارهای ETL مثل Airflow
- ساخت مدل‌های ساده داده‌ای برای گزارش‌گیری و تحلیل
- ##DataEngineering
- ##ETL
- ##Python
- ##Airflow
- ##Kafka
- ##DataPipeline
- ##BigData
- ##DataWarehouse
- ##Automation
- ##DataProjects