manuel-lang/Data-Engineering-Nanodegree
این مخزن شامل راه‌حل تمام پروژه‌های دوره Data Engineering Nanodegree از Udacity است.
کاربرد:
این مجموعه به تو کمک می‌کنه تا با ابزارها و مفاهیم کلیدی مهندسی داده مثل مدل‌سازی داده، انبار داده، دریاچه داده و پایپلاین‌های داده آشنا بشی و پروژه‌های عملی رو ببینی. ️
در چه شرایطی بهتره استفاده شود؟
اگر داری دوره Udacity رو می‌خونی و به دنبال راه‌حل‌های مرجع هستی، یا می‌خوای مهارت‌های عملی خودت رو در حوزه مهندسی داده تقویت کنی، این مخزن عالیه. همچنین برای کسایی که می‌خوان با ابزارهایی مثل Postgres, Cassandra, Redshift, Spark و Airflow کار کنن، منبع خوبیه.
چند مثال از موارد استفاده:
یادگیری نحوه طراحی مدل داده با Postgres و Cassandra
ساخت یک انبار داده با استفاده از Amazon Redshift
پردازش داده‌های حجیم با Apache Spark در محیط دریاچه داده
ایجاد پایپلاین‌های خودکار با Apache Airflow
بررسی بهترین شیوه‌های پیاده‌سازی ETL در پروژه‌های واقعی
- ##DataEngineering
- ##ETL
- ##ApacheAirflow
- ##Spark
- ##Redshift
- ##DataLake
- ##DataWarehouse
- ##PostgreSQL
- ##Cassandra
- ##BigData