vllm-project/vllm-ascend
این یک پلاگین سخت‌افزاری توسط جامعه توسعه‌دهندگان ایجاد شده برای اجرای vLLM روی چیپ‌های Ascend است.
کاربرد:
این پروژه به بهینه‌سازی اجرای مدل‌های زبان بزرگ (LLMs) روی سخت‌افزارهای مبتنی بر Ascend کمک می‌کنه و از طریق یکپارچه‌سازی با vLLM، عملکرد بالاتری در استنتاج مدل‌ها فراهم می‌کنه.
در چه شرایطی بهتره استفاده شود؟
اگر از سخت‌افزارهای Huawei Ascend استفاده می‌کنید و می‌خواهید مدل‌های بزرگ زبان را به صورت کارآمد اجرا کنید، این پلاگین گزینه مناسبی است. همچنین برای تیم‌هایی که به دنبال کاهش هزینه‌های استقرار و افزایش توان پردازشی هستند، مناسب است. ️
چند مثال از موارد استفاده:
- اجرای مدل‌های بزرگ مثل Llama یا Qwen روی سرورهای Ascend
- استفاده در محیط‌های ابری داخلی (on-premise) با سخت‌افزار Ascend
- توسعه راه‌حل‌های هوش مصنوعی با تمرکز بر کارایی و مصرف انرژی پایین
- ##vLLM
- ##Ascend
- ##AIInference
- ##LargeLanguageModels
- ##Huawei
- ##NPU
- ##MachineLearning
- ##DeepLearning
- ##LLMOptimization
- ##HardwarePlugin