666DZY666/micronet
کاربرد:
این کتابخانه برای فشردهسازی و استقرار مدلهای یادگیری عمیق طراحی شده — یعنی کاهش حجم و افزایش سرعت مدلها بدون افت زیاد دقت. از روشهای مختلف کوانتیزه کردن، هرس کردن، ساختارهای کانالی گروهی و بهینهسازی برای استقرار روی سختافزارهای مختلف پشتیبانی میکنه.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری مدلهای بزرگ رو روی دستگاههای کممنبع مثل موبایل، دوربینهای هوشمند یا تراشههای لبهای اجرا کنی. همچنین اگر دقت بالا با مصرف پایین انرژی و تأخیر کم مهمه، این ابزار عالیه.
چند مثال از موارد استفاده
کوانتیزه کردن یک مدل ResNet با QAT برای اجرای سریعتر روی GPU با TensorRT
هرس کانالی (channel pruning) از یک مدل YOLO برای کاهش پارامترها و افزایش فریمریت
استفاده از کوانتیزه ۸-بیتی پس از آموزش (PTQ) برای استقرار بدون نیاز به re-train
ادغام BatchNorm با وزنها برای بهبود عملکرد در حالت کوانتیزه
پشتیبانی از شکل دینامیکی (dynamic shape) در TensorRT برای ورودیهای متغیر اندازه
- #model_compression
- #quantization
- #pruning
- #TensorRT
- #edge_ai
- #QAT
- #PTQ
- #efficient_AI
- #deep_learning
- #BNN