paypal/gimel
این چارچوب یک سیستم پردازش داده‌های بزرگ است که به توسعه‌دهندگان اجازه می‌دهد تا با استفاده از یک رابط یکپارچه یا دستورات SQL، به داده‌ها در هر نوع ذخیره‌سازی دسترسی داشته باشند.
کاربرد:
این ابزار برای دسترسی یکپارچه به داده‌های پراکنده در منابع مختلف مثل HDFS, Kafka, S3 و سایر سیستم‌های ذخیره‌سازی طراحی شده. به کمک آن می‌توان بدون نیاز به تغییر کد، داده‌ها را از منابع مختلف بخوانید، پردازش کنید و نتیجه را در مقصد دیگری بنویسید.
در چه شرایطی بهتره استفاده شود؟
وقتی که یک سازمان داده‌های خود را در چندین انبار داده نگه می‌دارد و نیاز به یک لایه یکپارچه برای دسترسی و پردازش دارد، استفاده از این چارچوب بسیار موثر است. همچنین برای سناریوهای ETL، داده‌های جریانی و گزارش‌گیری در مقیاس بزرگ مناسب است.
چند مثال از موارد استفاده:
خواندن داده از Kafka و نوشتن آن در HDFS با یک دستور SQL
تحلیل داده‌های مشتریان از S3 و HBase در یک پایپ‌لاین واحد
یکپارچه‌سازی داده‌های تراکنشی و تاریخی برای سیستم‌های هوش تجاری
- ##BigData
- ##DataProcessing
- ##UnifiedAPI
- ##SQLonHadoop
- ##ETL
- ##StreamProcessing
- ##DataIntegration
- ##PayPalTech
- ##ScalableSystems
- ##CloudData