calogica/dbt-expectations
این پروژه یک نسخهٔ تقریبی از کتابخانهٔ Great Expectations برای استفاده در dbt (data build tool) است که به صورت ماکروهای تست پیاده‌سازی شده. ️
کاربرد:
به شما کمک می‌کنه تا اعتبارسنجی‌های پیشرفته روی داده‌های خود در حین تبدیل‌های dbt انجام بدید. مثل بررسی کامل بودن ستون‌ها، تناسب داده‌ها با الگوهای خاص یا توزیع مورد انتظار، و چک کردن اینکه آیا داده‌ها رفتارهای غیرعادی ندارن.
در چه شرایطی بهتره استفاده شود؟
وقتی می‌خواید داده‌های خود رو قبل و بعد از تبدیل در dbt با قوانین دقیقی تست کنید، به خصوص در محیط‌های تولید که کیفیت داده حیاتیه. همچنین وقتی از Great Expectations استفاده کردید ولی می‌خواید قابلیت‌های مشابه رو بدون افزودن پیچیدگی بیرونی در dbt داشته باشید.
چند مثال از موارد استفاده:
بررسی اینکه یک ستون از جدول مشتریان شامل مقدار خالی نباشه (expect_column_values_to_not_be_null)
اطمینان از اینکه تمام ایمیل‌ها فرمت معتبر دارن (expect_column_values_to_match_regex)
چک کردن اینکه درصد مقادیر یک ستون در بازهٔ مشخصی قرار داره (مثل ۹۵٪ امتیازها باید بین ۰ تا ۱۰۰ باشه)
تأیید اینکه یک ستون کلید منحصر به فرد داره (مثل expect_column_to_have_unique_values)
- ##dbt
- ##data
- ##GreatExpectations
- ##data
- ##data
- ##analytics
- ##data
- ##data
- ##TDD
- ##data