aws-solutions-library-samples/data-lakes-on-aws
این پروژه یک دریاچه داده سطح سازمانی و بدون سرور روی پلتفرم AWS ارائه می‌دهد که برای استقرارهای تولیدی طراحی شده است.
کاربرد:
این راه‌حل به شما کمک می‌کند تا یک معماری دریاچه داده مدرن با استفاده از سرویس‌های بدون سرور AWS مثل Amazon S3، AWS Glue، Athena و Lake Formation بسازید. همچنین شامل نمونه‌هایی برای مدیریت داده، طبقه‌بندی، امنیت و جستجوی داده است.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز دارید یک سیستم جمع‌آوری، ذخیره و تحلیل داده در مقیاس بزرگ راه‌اندازی کنید و می‌خواهید از زیرساخت بدون سرور و هزینه‌بهینه AWS استفاده کنید. مناسب شرکت‌هایی است که به دنبال راه‌حلی تولیدی، امن و قابل گسترش هستند.
چند مثال از موارد استفاده:
جمع‌آوری داده‌های لاگ از سرویس‌های مختلف و تحلیل آن‌ها با Athena
ایجاد کاتالوگ داده متمرکز با AWS Glue و Lake Formation
پیاده‌سازی سیاست‌های امنیتی و دسترسی بر اساس ستون یا ردیف داده
پردازش داده‌های ناهمگن از منابع مختلف (مثل RDS، Kafka، فایل‌های CSV/JSON)
ارائه داده به ابزارهای تحلیلی مثل QuickSight یا Tableau
- ##data
- ##AWS
- ##serverless
- ##big
- ##data
- ##cloud
- ##S3
- ##Glue
- ##Athena
- ##LakeFormation