Troyanovsky/Local-LLM-Comparison-Colab-UI
این پروژه به شما کمک می‌کنه تا عملکرد مدل‌های زبانی بزرگ (LLM) مختلفی که می‌تونید روی سخت‌افزار معمولی مثل لپ‌تاپ یا کامپیوتر شخصی اجرا کنید، مقایسه کنید.
همه چیز از طریق Google Colab و یک رابط کاربری وب (WebUI) انجام می‌شه، پس نیازی به تنظیمات پیچیده نیست.
کاربرد:
این ابزار برای کسانی مناسبه که می‌خوان بدون نیاز به سرورهای قدرتمند یا پول دادن به APIهای خارجی، مدل‌های مختلف هوش مصنوعی رو تست کنن.
مثلاً می‌تونید ببینید کدوم مدل بهتر ترجمه می‌کنه، به سوالات پاسخ می‌ده یا داستان می‌نویسه.
در چه شرایطی بهتره استفاده شود؟
- وقتی دسترسی به اینترنت دارید ولی نمی‌خواهید از APIهای پولی استفاده کنید.
- وقتی می‌خواهید حریم خصوصی داشته باشید و داده‌هاتون رو آپلود نکنید.
- وقتی می‌خواهید مدل‌های مختلف رو در شرایط یکسان تست کنید.
- وقتی فقط یک لپ‌تاپ و گوگل اکانت دارید!
چند مثال از موارد استفاده:
مقایسه دقت پاسخ‌های دو مدل مثل Llama و Mistral در پاسخ به سوالات فنی
تست سرعت تولید متن در مدل‌های با پارامترهای مختلف (مثلاً 7B vs 13B)
بررسی کیفیت خلاصه‌نویسی یک مقاله توسط مدل‌های کوانتیزه شده
استفاده آموزشی در کلاس‌های هوش مصنوعی برای نمایش تفاوت مدل‌ها
- ##LLM
- ##LocalAI
- ##GoogleColab
- ##WebUI
- ##ModelComparison
- ##AIExperiment
- ##OpenSourceAI
- ##PrivacyFirst
- ##AIBenchmark
- ##LlamaMistralComparison