پروژه scanrefer

daveredrum/ScanRefer

این پروژه یک چارچوب نوآورانه برای مکان‌یابی اشیاء سه‌بعدی در محیط‌های واقعی با استفاده از توصیف‌های زبانی طبیعی ارائه می‌دهد.

با ترکیب داده‌های RGB-D و زبان طبیعی، مدل قادر است شیء مورد نظر را در فضای سه‌بعدی پیدا کند.

کاربرد:

این سیستم در رباتیک، واقعیت افزوده (AR)، و تعامل انسان و کامپیوتر کاربرد دارد.

مثلاً می‌توان به ربات گفت: “لطفاً کتاب قرمز روی میز را بگیر” و مدل دقیقاً آن شیء را در فضا شناسایی می‌کند.

در چه شرایطی بهتره استفاده شود؟

وقتی نیاز به درک همزمان صحبت کاربر و محیط فیزیکی سه‌بعدی باشد، این مدل عالی عمل می‌کند.

بهترین عملکرد را در محیط‌های داخلی مثل خانه یا دفتر دارد که داده‌های اسکن سه‌بعدی در دسترس باشد.

چند مثال از موارد استفاده:

ربات‌های خانگی که دستورات صوتی را درک و اجرا می‌کنند.

سیستم‌های کمکی برای افراد نابینا در حرکت در محیط.

بازی‌های واقعیت افزوده که با گفتار کاربر تعامل دارند.

جستجوی اشیاء در فضاهای پیچیده با توضیح کلامی.