bambrow/docker-hadoop-workbench
این پروژه یک محیط آماده برای کار با Hadoop، Hive و Spark درون کانتینرهای Docker فراهم می‌کند.
کاربرد:
این مجموعه برای توسعه، تست و یادگیری پردازش داده‌های حجیم در یک کلاستر محلی مناسب است.
در چه شرایطی بهتره استفاده شود؟
وقتی می‌خوای بدون نصب پیچیده‌ی نرم‌افزارها، یک کلاستر Hadoop کامل با Spark و Hive روی سیستم خودت راه‌اندازی کنی.
چند مثال از موارد استفاده:
- آزمایش کوئری‌های Hive روی داده‌های بزرگ
- توسعه اسکریپت‌های Spark با PySpark یا Scala
- شبیه‌سازی محیط تولید برای یادگیری HDFS و YARN
- ##Hadoop
- ##Spark
- ##Hive
- ##Docker
- ##BigData
- ##DataEngineering
- ##LocalCluster
- ##PySpark
- ##YARN
- ##HDFS