jankais3r/LLaMA_MPS
این پروژه به تو امکان می‌دهد تا مدل‌های زبانی بزرگ مثل LLaMA و Stanford-Alpaca روی چیپ‌های Apple Silicon با استفاده از قابلیت‌های گرافیکی (GPU) اجرا کنی.
کاربرد:
این ابزار برای افرادی مناسبه که می‌خوان مدل‌های هوش مصنوعی روی مک‌بوک یا آی‌مک‌های جدید (مثل M1, M2, M3) بدون نیاز به کارت گرافیک خارجی یا ابرسرور اجرا کنن. ️
در چه شرایطی بهتره استفاده شود؟
اگر دستگاهت از خانواده Apple Silicon باشه و می‌خوای به صورت محلی (آفلاین) و با حریم خصوصی کامل از مدل‌های زبانی استفاده کنی، این پروژه گزینه عالی‌ایه. همچنین برای توسعه‌دهندگانی که می‌خوان تست‌های کوچک یا پروژه‌های شخصی روی LLaMA انجام بدن، مناسبه.
چند مثال از موارد استفاده:
- اجرای چت‌بات شخصی روی مک‌بوک بدون اینترنت
- آزمایش پاسخ‌های مدل‌های زبانی در محیط امن و محلی
- توسعه ابزارهای هوش مصنوعی برای استفاده آفلاین در محیط‌های حساس
- ##LLaMA
- ##AppleSilicon
- ##MPS
- ##MachineLearning
- ##LocalAI
- ##Alpaca
- ##LLM
- ##OnDeviceInference
- ##AIResearch
- ##M1Chip