xxxnell/how-do-vits-work
چطور مدل‌های Vision Transformer (ViT) کار می‌کنند؟ این پروژه پیاده‌سازی رسمی با PyTorch از مقالهٔ معروف How Do Vision Transformers Work? است که در کنفرانس ICLR 2022 جایزهٔ Spotlight دریافت کرده است.
کاربرد:
این پروژه به درک بهتر نحوهٔ عملکرد ترانسفورمرهای بینایی کمک می‌کند و تحلیل‌هایی دربارهٔ نحوهٔ توجه (attention)، تشخیص ویژگی‌ها و یادگیری در لایه‌های مختلف ViT ارائه می‌دهد.
در چه شرایطی بهتره استفاده شود؟
اگر روی مدل‌های بینایی مبتنی بر ترانسفورمر کار می‌کنی، این پروژه زمانی مفیده که بخوای:
- مکانیسم توجه در ViT رو تحلیل کنی
- تفاوت‌های ViT با شبکه‌های کانولوشنی (CNN) رو بررسی کنی
- مقالات مرتبط با تفسیرپذیری مدل‌های بینایی رو پیاده‌سازی یا توسعه بدی
چند مثال از موارد استفاده:
- بررسی اینکه کدام نواحی تصویر بیشترین توجه رو در هر لایه جذب می‌کنن ️
- تحلیل انتقال اطلاعات در لایه‌های مختلف ترانسفورمر
- استفاده به عنوان پایه‌ای برای تحقیقات تفسیرپذیری در مدل‌های بینایی
- ##VisionTransformer
- ##PyTorch
- ##ICLR2022
- ##AttentionMechanism
- ##ModelInterpretability
- ##DeepLearning
- ##ComputerVision
- ##ViT
- ##SpotlightPaper
- ##AIResearch