mahmoudparsian/pyspark-tutorial
این پروژه شامل آموزش‌های پایه‌ای برای کار با PySpark است و الگوریتم‌های ساده‌ای را با استفاده از این فریم‌ورک ارائه می‌دهد.
کاربرد:
این مجموعه برای یادگیری پردازش داده‌های حجیم با استفاده از PySpark مناسب است و به کاربران کمک می‌کند تا با مفاهیم اولیه مانند RDD، DataFrame، عملیات تبدیل و اقدام و همچنین الگوریتم‌های تحلیل داده آشنا شوند.
در چه شرایطی بهتره استفاده شود؟
اگر تازه‌کار هستی و می‌خوای با Spark شروع کنی، این پروژه می‌تونه نقطه شروع خوبی باشه. همچنین برای کسانی که می‌خوان الگوریتم‌های ساده رو به صورت توزیع‌شده اجرا کنن، مناسب است.
چند مثال از موارد استفاده:
محاسبه تعداد کلمات در یک متن بزرگ با استفاده از Word Count
فیلتر کردن داده‌های خام بر اساس شرایط خاص
محاسبه میانگین یا جمع مقادیر عددی در یک فایل حجیم
انجام عملیات گروه‌بندی و کاهش داده‌ها با توابع map و reduce
- ##PySpark
- ##BigData
- ##DataProcessing
- ##SparkTutorial
- ##RDD
- ##DataFrame
- ##DistributedComputing
- ##DataEngineering
- ##Python
- ##LearnSpark