پروژه llm-pruner

horseee/LLM-Pruner

این پروژه یک روش هوشمند برای کاهش حجم مدل‌های زبان بزرگ (LLM) بدون از دست دادن زیاد دقت است. ️

کاربرد:

کم کردن حجم و پیچیدگی مدل‌های زبان بزرگ برای اجرای سریع‌تر و کارآمدتر روی دستگاه‌های با منابع محدود، مثل لپ‌تاپ یا سرورهای کوچک.

در چه شرایطی بهتره استفاده شود؟

وقتی می‌خوای یک مدل بزرگ مثل Llama-3 یا Vicuna رو روی یک سیستم با حافظه یا قدرت پردازش محدود اجرا کنی، اما نمی‌خوای کلی از عملکردش بیفتی. ️

چند مثال از موارد استفاده:

- راه‌اندازی چت‌بات هوشمند روی یک سرور اختصاصی با منابع محدود

- استفاده از مدل‌های زبان در محیط‌های آفلاین یا بدون دسترسی به ابر ️

- بهینه‌سازی مدل برای استقرار در محیط‌های صنعتی با تاخیر کم ️