پروژه lighteval

huggingface/lighteval

کاربرد:

این ابزار یک جعبه ابزار کامل برای ارزیابی مدل‌های زبان بزرگ (LLMs) روی چندین پلتفرم و بک‌اند مختلفه. با استفاده از Lighteval می‌تونی عملکرد مدل‌های خودت رو روی مجموعه داده‌های استاندارد مثل MMLU، ARC، TruthfulQA و غیره تست کنی و مقایسه‌های دقیق انجام بدی.

در چه شرایطی بهتره استفاده شود؟

وقتی می‌خوای یک مدل زبان رو به صورت دقیق و قابل مقایسه با مدل‌های دیگه ارزیابی کنی، این ابزار عالیه. به‌ویژه اگر از بک‌اندهای مختلف مثل Hugging Face، vLLM، TensorRT-LLM یا حتی APIهای خارجی استفاده می‌کنی، Lighteval تمام این‌ها رو پشتیبانی می‌کنه و اجرای آزمون‌ها رو ساده و یکدست می‌کنه.

چند مثال از موارد استفاده:

مقایسه دقت دو مدل مشابه مثل Llama-3-8b و Mistral-7b روی مجموعه سوالات علمی

ارزیابی تأثیر کوانتیزه کردن یک مدل روی عملکرد کلی‌اش

تست یک مدل سفارشی که روی vLLM اجرا می‌شه، بدون نیاز به تغییر کد زیاد

اجرای خودکار آزمون‌های استاندارد برای ریلیز جدید یک مدل