پروژه petals

bigscience-workshop/petals

این پروژه چیه؟

bigscience-workshop/petals یک فریم‌ورک منبع‌باز برای اجرای مدل‌های زبان بزرگ (LLMs) روی چندین دستگاه به صورت غیرمتمرکز است — مثل BitTorrent برای هوش مصنوعی! با استفاده از این ابزار، می‌تونی مدل‌های بسیار بزرگ مثل BLOOM یا Llama رو بدون نیاز به سرورهای گران‌قیمت اجرا کنی، فقط با استفاده از کامپیوتر شخصی یا لپ‌تاپت.

کاربرد:

این ابزار بهت اجازه می‌ده تا:

مدل‌های بسیار بزرگ روی دستگاه‌های با حافظه محدود اجرا کنی

از قدرت چندین دستگاه در شبکه استفاده کنی بدون اینکه داده‌ها منتقل بشن

عملیات inference و fine-tuning رو تا 10 برابر سریع‌تر از روش‌های معمولی انجام بدی

در چه شرایطی بهتره استفاده شود؟

وقتی دسترسی به GPUهای قدرتمند نداری

وقتی می‌خوای حریم خصوصی داشته باشی و داده‌ها رو آپلود نکنی

وقتی می‌خوای همکاری غیرمتمرکز با دیگران داشته باشی در اجرای مدل‌های بزرگ

وقتی دنبال راهی مقرون‌به‌صرفه برای تحقیق یا توسعه هوش مصنوعی هستی

چند مثال از موارد استفاده:

اجرای مدل Llama-70B روی یک لپ‌تاپ با RAM متوسط با کمک دوستان در شبکه

آموزش سبک (fine-tuning) یک مدل بزرگ برای یک کار خاص مثل تولید متن فارسی

استفاده در محیط‌های آموزشی یا تحقیقاتی بدون نیاز به زیرساخت ابری