princeton-nlp/SimPO
این پروژه یک روش ساده و مؤثر برای بهینه‌سازی ترجیحات در مدل‌های زبانی ارائه می‌دهد که نیاز به یک مدل پاداش مبتنی بر مرجع را حذف می‌کند.
کاربرد:
برای بهبود پاسخ‌های مدل‌های زبانی بزرگ (LLMs) بر اساس ترجیحات کاربر، بدون نیاز به مقایسه با یک پاسخ مرجع.
در چه شرایطی بهتره استفاده شود؟
وقتی داده‌های ترجیحی دارید اما نمی‌خواید یا نمی‌تونید از یک مدل پاداش مبتنی بر مرجع استفاده کنید. همچنین وقتی می‌خواید فرآیند آموزش رو ساده‌تر و کارآمدتر کنید.
چند مثال از موارد استفاده:
بهبود کیفیت پاسخ‌های چت‌بات‌ها بر اساس بازخورد کاربر
شخصی‌سازی مدل‌های زبانی برای سبک یا سطح پاسخ‌دهی خاص
آموزش مدل‌ها در محیط‌هایی که دسترسی به پاسخ‌های مرجع (reference) ممکن نیست
- ##SimPO
- ##LLM
- ##PreferenceOptimization
- ##AI
- ##NLP
- ##MachineLearning
- ##NeurIPS2024
- ##ReferenceFree
- ##RewardModeling
- ##Chatbot