پروژه wrench

JieyuZ2/wrench

چه کاری انجام میده؟ WRENCH یک بانچمارک جامع برای ارزیابی و مقایسه روش‌های یادگیری ضعیف (Weak Supervision) در یادگیری ماشین هست.

این پروژه شامل مجموعه‌ای از دیتاست‌ها، روش‌های ترکیب برچسب‌های ضعیف (Label Models)، و استراتژی‌های آموزش مدل‌های نهایی با استفاده از داده‌های بدون برچسب دقیق است.

کاربرد:

این ابزار به محققان و توسعه‌دهندگان کمک می‌کنه تا روش‌های جدید یادگیری ضعیف رو در شرایط واقعی ارزیابی کنند، بدون اینکه خودشون مجبور باشن دیتاست یا چارچوب ارزیابی بسازن. ️

در چه شرایطی بهتره استفاده شود؟

وقتی داده‌های برچسب‌خورده دقیق کمه، اما منابع مختلفی برای تولید برچسب‌های نویزی (مثل قواعد، مدل‌های دیگر، یا داده‌های وب) دارید. همچنین وقتی می‌خواید عملکرد روش‌های ترکیب برچسب (مثل Snorkel یا MeTaL) رو مقایسه کنید.

چند مثال از موارد استفاده:

- ترکیب خروجی چندین labeling function برای ساخت یک مجموعه برچسب قابل اعتماد

- آموزش یک مدل طبقه‌بندی متن با استفاده از برچسب‌های تولید شده توسط قواعد یا مدل‌های ضعیف

- مقایسه عملکرد مدل‌های مختلف Label Model مثل CW, Majority Voting, و Snorkel

- ارزیابی روش‌های جدید یادگیری ضعیف در دیتاست‌های استاندارد مثل Spam, Fake News, یا Sentiment Analysis