hkchengrex/XMem
چه کاری انجام میده؟
این پروژه یک مدل هوش مصنوعی برای تقسیم‌بندی بلندمدت اشیا در ویدیو (Long-Term Video Object Segmentation) ارائه میده که از مدل حافظه اتکینسون-شیفر (Atkinson-Shiffrin) الهام گرفته — یعنی مثل مغز انسان، اطلاعات رو در حافظه کوتاه‌مدت و بلندمدت ذخیره میکنه تا بتواند اشیای متحرک رو در طولانی‌مدت دنبال کنه.
در چه شرایطی بهتره استفاده شود؟
وقتی با ویدیوهای طولانی سروکار داری و نیاز داری یک یا چند شیء خاص رو از ابتدا تا انتهای ویدیو دنبال کنی، حتی اگر اون شیء چند ثانیه از فریم خارج شود یا پوشیده بشه. این مدل میتونه اطلاعات رو "به یاد بیاره" و دوباره شیء رو تشخیص بده.
چند مثال از موارد استفاده:
دنبال کردن یک ماشین در یک ویدیوی نظارتی طولانی
تشخیص و رهگیری حیوانات در فیلم‌های مستند طبیعت
استفاده در رباتیک یا خودروهای خودران برای دنبال کردن اشیاء مهم
ویرایش ویدیوی هوشمند، مثل حذف پس‌زمینه در تمام فریم‌ها
- ##VideoSegmentation
- ##ObjectTracking
- ##AI
- ##ComputerVision
- ##LongTermMemory
- ##DeepLearning
- ##XMem
- ##ECCV2022
- ##MachineLearning
- ##SemanticSegmentation