NVlabs/ODISE
این پروژه یک چارچوب قدرتمند برای تقسیم‌بندی پانوراما با واژگان باز (Open-Vocabulary Panoptic Segmentation) است که از مدل‌های تولید تصویر متن به تصویر (Text-to-Image Diffusion) بهره می‌برد.
کاربرد:
این مدل به شما امکان می‌دهد تا اشیاء و مناطق مختلف در تصاویر را بدون نیاز به آموزش مجدد، تشخیص دهید — حتی اگر در داده‌های آموزشی اصلی وجود نداشته باشند. ️
در چه شرایطی بهتره استفاده شود؟
وقتی با دامنه‌های گسترده‌ای از اشیاء سروکار دارید و نیاز به انعطاف‌پذیری در تشخیص کلاس‌های جدید دارید، مثل محیط‌های واقعی پویا یا کاربردهای رباتیک و خودران.
چند مثال از موارد استفاده:
- تشخیص اشیاء نادر در تصاویر پزشکی یا صنعتی
- درک صحنه در رباتیک با قابلیت پاسخ به دستورات متنی
- تحلیل تصاویر شهری با کلاس‌های جدید بدون نیاز به داده‌های برچسب‌خورده ️
- ##OpenVocabulary
- ##PanopticSegmentation
- ##DiffusionModels
- ##ComputerVision
- ##AI
- ##PyTorch
- ##TextToImage
- ##ODISE
- ##NVlabs
- ##CVPR2023