sparkdq-community/sparkdq
این یک چارچوب توصیفی (Declarative) مبتنی بر PySpark برای اعتبارسنجی کیفیت داده‌ها در سطح ردیف‌ها و گروه‌های آماری است.
کاربرد:
با استفاده از این ابزار می‌تونی قوانین کیفیت داده رو به صورت شفاف و خوانا تعریف کنی و بدون نیاز به کدنویسی پیچیده، داده‌های خودت رو بررسی کنی. این چارچوب به تو اجازه می‌ده تا مثلاً بررسی کنی که ستون‌ها خالی نباشن، مقادیر در محدوده مشخصی قرار داشته باشن یا روابط بین فیلدها رعایت شده باشه.
در چه شرایطی بهتره استفاده شود؟
وقتی با داده‌های حجیم در محیط ابری یا کلان‌داده کار می‌کنی و نیاز داری کیفیت داده‌ها رو در پایپلاین‌های ETL یا ELT کنترل کنی، این ابزار عالیه. به‌ویژه اگر از PySpark استفاده می‌کنی و دنبال راهی ساده و قابل نگهداری برای تست داده هستی، sparkdq گزینه مناسبیه.
چند مثال از موارد استفاده:
- بررسی اینکه ستون user_id در تمامی ردیف‌ها پر باشه (عدم وجود null)
- تأیید اینکه مقادیر ستون age بین ۰ تا ۱۲۰ باشه
- اطمینان از اینکه درصد سفارش‌های لغو شده بیش از ۵٪ نباشه (Aggregate Rule)
- مقایسه توزیع داده‌ها بین دو منبع داده
- ##data
- ##pyspark
- ##big
- ##etl
- ##data
- ##sparkdq
- ##data
- ##data
- ##open
- ##apache