پروژه pygrinder

WenjieDu/PyGrinder

کاربرد:

این ابزار یک کتابخانهٔ پایتونی برای شبیه‌سازی داده‌های ناقص است ️ با استفاده از آن می‌تونیم به صورت کنترل‌شده مقدارهای گم‌شده (missing values) رو به داده‌های کامل اضافه کنیم. این کار برای تست مدل‌های پر کردن داده‌های گم‌شده (imputation) خیلی مفیده، مثلاً توی حوزه‌های پزشکی، مالی یا حسگرهای هوشمند که داده‌ها اغلب ناقص هستن.

در چه شرایطی بهتره استفاده شود؟

وقتی می‌خوای مدل‌های یادگیری ماشین رو در شرایط واقعی تست کنی، این ابزار عالیه چون انواع الگوهای گم‌شدن داده رو پشتیبانی می‌کنه:

- MCAR: داده‌ها کاملاً تصادفی گم می‌شن

- MAR: احتمال گم‌شدن به داده‌های دیگه وابسته‌ست

- MNAR: داده‌ها به‌صورت سیستماتیک و وابسته به خودشون گم می‌شن

- گم‌شدن زیردنباله‌ای و گم‌شدن بلوکی: مثل قطع شدن حسگر برای مدتی

چند مثال از موارد استفاده

تست مدل‌های پر کردن داده توی سری‌های زمانی

شبیه‌سازی داده‌های پزشکی با گزارش‌های ناقص

ارزیابی مقاومت الگوریتم‌های یادگیری ماشین در برابر داده‌های گم‌شده

آموزش مدل‌های deep learning با داده‌های ناقص مصنوعی