پروژه efficient-llms-survey

AIoT-MLSys-Lab/Efficient-LLMs-Survey

کاربرد:

این پروژه یک مرور جامع و سیستماتیک از مدل‌های زبانی بزرگ کارآمد (Efficient LLMs) است که در تابستان ۲۰۲۴ در مجله TMLR منتشر شده. هدف اصلی، بررسی روش‌های کاهش هزینه محاسباتی، مصرف انرژی و منابع حافظه در آموزش و استنتاج مدل‌های زبانی بزرگ است.

در چه شرایطی بهتره استفاده شود؟

اگر دنبال یک منبع معتبر و به‌روز برای فهم عمیق از روش‌های بهینه‌سازی LLMها هستی، مثل کوانتیزه کردن، حذف وزن‌های غیرضروری، یا استفاده از معماری‌های کارآمدتر — این سوروی بهترین گزینه‌ست. همچنین برای محققان و مهندسانی که می‌خوان LLMها رو روی دستگاه‌های کم‌منبع (مثل موبایل یا IoT) اجرا کنن، بسیار مفیده.

چند مثال از موارد استفاده

طراحی چت‌بات‌های سبک و سریع برای دستگاه‌های لبه (Edge Devices)

کاهش هزینه‌های ابری در استقرار مدل‌های زبانی در مقیاس بزرگ

توسعه مدل‌های چندوجهی (Multimodal) با مصرف منابع بهینه

استفاده در محیط‌هایی با محدودیت برق و پهنای باند، مثل دستگاه‌های پزشکی قابل حمل