NannyML/nannyml
کاربرد:
این ابزار به شما کمک می‌کند تا عملکرد مدل‌های یادگیری ماشین را پس از استقرار (post-deployment) بدون نیاز به داشتن برچسب‌های واقعی بررسی کنید . با استفاده از تحلیل تغییرات در داده‌ها (مثل مفهوم دریفت)، می‌تونید مشکلات مدل رو زودتر از دیگران تشخیص بدید و قبل از اینکه خراب بشن، اقدام کنید .
در چه شرایطی بهتره استفاده شود؟
وقتی مدل‌های یادگیری ماشین رو تو محیط واقعی (production) اجرا کردید و دیگه نمی‌تونید برچسب‌های واقعی رو فوراً دریافت کنید، این ابزار می‌تونه جایگزین هوشمندی برای نظارت بر سلامت مدل باشه ️. به‌ویژه در حوزه‌هایی مثل بانک‌داری، بهداشت و فروش آنلاین که تأخیر در دریافت برچسب وجود داره، عالی عمل می‌کنه.
چند مثال از موارد استفاده
تشخیص دریفت مفهومی در مدل پیش‌بینی تخلف اعتباری
نظارت بر تغییرات در ویژگی‌های ورودی مدل پیش‌بینی هزینه‌های پزشکی
ارزیابی پایداری عملکرد مدل توصیه‌گر محصولات در یک فروشگاه آنلاین
شناسایی زمانی که مدل پیش‌بینی کننده churn دیگه قابل اعتماد نیست
- ##MLMonitoring
- ##DataDrift
- ##ModelPerformance
- ##PostDeployment
- ##MachineLearning
- ##AIops
- ##NannyML
- ##PythonML
- ##ModelObservability
- ##MLOps