timoschick/pet
این پروژه یک روش هوشمند برای یادگیری کم‌نمونه در پردازش زبان طبیعی ارائه می‌دهد.
کاربرد:
این ابزار به جای آموزش مدل‌های زبانی بزرگ با داده‌های فراوان، از سؤالات نوع cloze (جای خالی) استفاده می‌کنه تا با تعداد کمی نمونه (few-shot)، مدل رو برای وظایفی مثل دسته‌بندی متن و استنتاج زبان طبیعی آماده کنه.
در چه شرایطی بهتره استفاده شود؟
وقتی دسترسی به داده‌های برچسب‌دار کم هست و نمی‌خوای مدل بزرگی رو از صفر آموزش بدی، این روش عالیه!
همچنین وقتی می‌خوای از مدل‌های پیش‌آموخته مثل BERT یا RoBERTa به صورت موثر استفاده کنی، بدون fine-tuning سنگین.
چند مثال از موارد استفاده:
دسته‌بندی نظرات کاربران به مثبت/منفی با فقط چند نمونه
تشخیص رابطه بین دو جمله (NLI) در زبان انگلیسی یا دیگر زبان‌ها
طبقه‌بندی سند پزشکی یا حقوقی با داده‌های محدود
- ##FewShotLearning
- ##NLP
- ##TextClassification
- ##NaturalLanguageInference
- ##PromptEngineering
- ##BERT
- ##RoBERTa
- ##ClozeTasks
- ##PET
- ##MachineLearning