پروژه spark-acid

qubole/spark-acid

این پروژه یک منبع داده ACID برای آپاچی اسپارک است که بر پایهٔ قابلیت‌های Hive ACID ساخته شده.

این ابزار به شما امکان می‌دهد تا از تراکنش‌های ACID (Atomic, Consistent, Isolated, Durable) در داده‌های خود در اسپارک استفاده کنید، همان‌طور که در Hive موجود است.

کاربرد:

این ابزار برای کسانی که با داده‌های بزرگ در اکوسیستم هادوپ کار می‌کنند و نیاز به تضمین صحت و یکپارچگی داده دارند، بسیار مفید است.

با استفاده از آن می‌توانید عملیات درج، به‌روزرسانی و حذف (UPSERT/DELETE) را به صورت تراکنشی در داده‌های خود انجام دهید.

در چه شرایطی بهتره استفاده شود؟

وقتی که نیاز دارید داده‌های خود را به‌روزرسانی کنید بدون اینکه کل دیتاست را دوباره بنویسید.

همچنین در محیط‌هایی که داده‌ها به صورت مداوم تغییر می‌کنند و نیاز به چند نویسنده همزمان (concurrent writers) با تضمین امنیت داده وجود دارد.

چند مثال از موارد استفاده:

به‌روزرسانی رکوردهای مشتری در یک دیتالیک بدون بازنویسی کل دیتا

حذف داده‌های شخصی برای رعایت قوانین حریم خصوصی مثل GDPR

ادغام داده‌های جدید با داده‌های موجود به صورت تراکنشی و اتمیک

استفاده در خطوط لوله ETL که نیاز به تغییرات دقیق و قابل اعتماد دارند