realguoshuai/hadoop_study
این پروژه یک مخزن جامع برای یادگیری و مستندسازی ابزارهای پرکاربرد در اکوسیستم Hadoop است.
کاربرد:
این مخزن به توسعه‌دهندگان و مهندسان داده کمک می‌کند تا با ابزارهای مهم بیگ دیتا آشنا شوند و از مستندات، نمونه کدها و ابزارهای آماده برای پیاده‌سازی سریع‌تر استفاده کنند. ️
در چه شرایطی بهتره استفاده شود؟
- وقتی داری روی پروژه‌های بیگ دیتا کار می‌کنی و نیاز به مستندات ساختاریافته داری.
- وقتی می‌خوای Flink، SparkSQL یا Kafka رو یاد بگیری و با نمونه کدهای واقعی کار کنی.
- وقتی به دنبال یک منبع به‌روز و عملی برای Scala و HBase/Phoenix هستی.
- وقتی نیاز به ابزارهای حل شده برای مسائل رایج مثل حریم خصوصی داده (دی‌ایدنتیفایکیشن) داری.
چند مثال از موارد استفاده:
یادگیری Apache Flink با نمونه کدهای عملی و ساده
استفاده از Scala برای پردازش جریان داده
پیاده‌سازی سریع Kafka و Redis در محیط‌های آزمایشی
دسترسی به نقشه ذهنی Hadoop برای درک بهتر ارتباط بین اجزا
استفاده از کدهای آموزشی (train code) برای توسعه مهارت‌های عملی بدون نگرانی از افشای اطلاعات حساس
- ##BigData
- ##Hadoop
- ##Flink
- ##SparkSQL
- ##Kafka
- ##Scala
- ##HBase
- ##Redis
- ##DataEngineering
- ##Kerberos