پروژه omniquant

OpenGVLab/OmniQuant

این یک تکنیک کوانتیزاسیون ساده و قدرتمند برای مدل‌های زبان بزرگ (LLMs) است که در ICLR 2024 به عنوان یک مقالهٔ برجسته معرفی شده است.

کاربرد:

کم کردن حجم و منابع مورد نیاز برای اجرای مدل‌های زبان بزرگ، بدون افت چشمگیر در عملکرد.

در چه شرایطی بهتره استفاده شود؟

وقتی می‌خوای یک مدل بزرگ مثل LLaMA یا Vicuna رو روی دستگاه‌های با منابع محدود (مثل لپ‌تاپ یا سرورهای کوچک) اجرا کنی.

چند مثال از موارد استفاده:

- اجرای مدل‌های بزرگ روی GPUهای معمولی با حافظه کم

- بهبود سرعت استنتاج در محیط‌های تولید (production)

- کاهش هزینه‌های استقرار مدل در مقیاس