RoboFlamingo/RoboFlamingo
این پروژه یک چارچوب هوش مصنوعی برای کنترل ربات‌ها با استفاده از مدل‌های چندوجهی (مانند تصاویر و دستورات متنی) است.
کاربرد:
روبو فلامینگو برای اجرای دستورات بصری-زبانی در محیط‌های واقعی طراحی شده — مثل اینکه به ربات بگید: *«جعبه قرمز رو بگیر و کنار فنجان بذار»* و اون این کار رو با دیدن صحنه و درک دستور انجام بده.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز دارید ربات شما بدون نیاز به برنامه‌ریزی دقیق، بتواند دستورات پیچیده را درک کند و در محیط‌های غیرساختاریافته (مثل خانه یا کارگاه) عمل کند. همچنین وقتی از داده‌های ویدئویی و متنی برای آموزش استفاده می‌کنید، این چارچوب عالی عمل می‌کند.
چند مثال از موارد استفاده:
یک ربات خانگی که دستورات صوتی-تصویری رو اجرا می‌کنه، مثل *«اون چیزی که دیروز روی میز بود رو به آشپزخونه ببر»*
ربات‌های صنعتی که باید وظایف جدید رو با نمونه‌های ویدئویی یاد بگیرن
سیستم‌های کمکی برای افراد دارای معلولیت که با دستورات طبیعی کنترل می‌شن
- ##RoboFlamingo
- ##Robotics
- ##AI
- ##MultimodalLearning
- ##VisualLanguageModel
- ##RobotControl
- ##EmbodiedAI
- ##HumanRobotInteraction