پروژه parquet_s3_fdw

pgspider/parquet_s3_fdw

این افزونه یک Foreign Data Wrapper (FDW) برای PostgreSQL است که به شما امکان می‌دهد فایل‌های Parquet ذخیره‌شده در S3 (یا سرویس‌های سازگار با S3) را مستقیماً در پایگاه داده PostgreSQL کوئری کنید، گویی که آن داده‌ها درون خود دیتابیس قرار دارند.

کاربرد:

این ابزار برای موقعیت‌هایی مناسب است که داده‌های شما در فرمت Parquet روی فضای ذخیره‌سازی ابری مانند Amazon S3 نگهداری می‌شوند و می‌خواهید بدون نیاز به بارگذاری (ingest) داده‌ها، آن‌ها را مستقیماً در PostgreSQL جستجو و تحلیل کنید.

در چه شرایطی بهتره استفاده شود؟

وقتی دارید با داده‌های بزرگ در قالب ستونی (مانند داده‌های لاگ، تحلیلی یا داده‌های Data Lake) کار می‌کنید و می‌خواهید از قدرت کوئری‌نویسی SQL در PostgreSQL استفاده کنید، بدون اینکه داده‌ها را منتقل یا تبدیل کنید. همچنین برای محیط‌های Hybrid Cloud یا Data Federation عالی است. ️

چند مثال از موارد استفاده

تحلیل داده‌های روزانه لاگ‌های وب که در S3 به صورت Parquet ذخیره شده‌اند.

اتصال به داده‌های Data Lake برای گزارش‌گیری در ابزارهای BI بدون ETL.

ترکیب داده‌های محلی در PostgreSQL با داده‌های ابری با استفاده از JOIN.

استفاده در محیط‌های توسعه برای تست داده‌های واقعی بدون دانلود کامل آن‌ها.