kssteven418/I-BERT
این پروژه یک روش کوانتیزه کردن مدل BERT به صورت کاملاً صحیح (integer-only) ارائه می‌دهد تا اجرا روی سخت‌افزارهای با منابع محدود مثل تراشه‌های کم‌مصرف یا دستگاه‌های لبه (edge devices) بهینه شود.
کاربرد:
کم کردن حجم مدل و مصرف محاسباتی BERT با حفظ دقت مناسب، بدون نیاز به عملیات اعشاری (floating-point) در زمان استنتاج.
در چه شرایطی بهتره استفاده شود؟
وقتی می‌خوای مدل زبانی سنگین مثل BERT رو روی دستگاه‌های کم‌قدرت مثل موبایل یا IoT اجرا کنی و دقت خیلی پایین نره.
چند مثال از موارد استفاده:
- پردازش زبان طبیعی در دستگاه‌های بدون دسترسی به ابر ️
- سیستم‌های تشخیص گفتار آفلاین
- چت‌بات‌های سریع و کم‌مصرف در تلفن‌های هوشمند
- تحلیل متن در محیط‌های امنیتی که ارتباط اینترنت ممنوعه
- ##NLP
- ##BERT
- ##Quantization
- ##EdgeAI
- ##ModelCompression
- ##EfficientAI
- ##ICML
- ##DeepLearning
- ##OnDeviceAI