tansu-io/tansu
این یک بروکر پیام‌رسانی است که با آپاچی کافکا سازگاری دارد و می‌تواند به جای سیستم‌های سنتی ذخیره‌سازی، از Amazon S3، PostgreSQL، آپاچی آیسبِرگ و دلتا لیک استفاده کند.
کاربرد:
این ابزار برای سیستم‌هایی طراحی شده که نیاز به پردازش جریان داده دارند اما می‌خواهند از زیرساخت‌های ذخیره‌سازی مدرن و قابل‌مقیاس مانند لیکهاوس و دیتابیس‌های ابری استفاده کنند.
در چه شرایطی بهتره استفاده شود؟
وقتی تیم‌های دیتا می‌خواهند بدون تغییر در کلاینت‌های فعلی کافکا، داده‌های جریانی را مستقیماً به S3 یا PostgreSQL منتقل کنند و از قابلیت‌های تحلیلی لیکهاوس بهره ببرند. همچنین برای محیط‌هایی که به دنبال کاهش پیچیدگی عملیاتی و هزینه‌های نگهداری کلاستر کافکا هستند، مناسب است. ️
چند مثال از موارد استفاده:
- جایگزینی کافکا در محیط‌های توسعه و تست با زیرساخت ارزان‌تر
- ارسال داده‌های رویداد به Delta Lake برای تحلیل‌های بلادرنگ در پایپلاین‌های دیتا
- ذخیره‌سازی لاگ‌های سیستم در S3 با حفظ سازگاری با کلاینت‌های کافکا
- استفاده در معماری‌های data mesh با امکان دسترسی مستقیم به داده در قالب باز (مانند Parquet)
- ##data
- ##kafka
- ##lakehouse
- ##S3
- ##PostgreSQL
- ##DeltaLake
- ##ApacheIceberg
- ##event
- ##cloud
- ##real