پروژه attention-transfer

szagoruyko/attention-transfer

این پروژه به بهبود عملکرد شبکه‌های کانولوشنی (CNN) از طریق انتقال توجه می‌پردازد.

کاربرد:

این روش از "توجه" لایه‌های میانی یک شبکه عصبی بزرگ (معمولاً معلم) برای راهنمایی آموزش یک شبکه کوچک‌تر (دانش‌آموز) استفاده می‌کند. این کار باعث می‌شود مدل کوچک‌تر بتواند الگوهای فضایی مهمی که مدل بزرگ یاد گرفته است را تقلید کند، حتی اگر مستقیماً از داده‌ها یاد نگرفته باشد.

در چه شرایطی بهتره استفاده شود؟

وقتی می‌خوای یک مدل کوچک و سریع برای دستگاه‌های تلفن همراه یا سیستم‌های با منابع محدود آموزش بدی، اما نمی‌خوای از دقت مدل‌های بزرگ دست بکشی. این روش در شرایطی که داده کم داری یا می‌خوای از دانش یک مدل پیچیده استفاده کنی، عالی عمل می‌کنه.

چند مثال از موارد استفاده:

- فشرده‌سازی مدل‌های بزرگ برای استفاده در اپلیکیشن‌های موبایل

- بهبود دقت مدل‌های کوچک در وظایف طبقه‌بندی تصویر ️

- آموزش مدل‌های کوچک در محیط‌هایی با داده‌های محدود با استفاده از دانش مدل‌های بزرگ