rom1504/cc2dataset
این ابزار به راحتی امکان تبدیل داده‌های Common Crawl را به مجموعه‌ای از جفت‌های متن-چندرسانه‌ای فراهم می‌کند.
کاربرد:
این ابزار برای ایجاد مجموعه داده‌های آموزشی در مدل‌های چندوجهی (مانند تصویر به متن، صوت به متن یا ویدئو به متن) کاربرد دارد.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز به داده‌های بزرگ و متنوع از وب دارید و می‌خواهید مدل‌های چندوجهی را آموزش دهید، استفاده از این ابزار بسیار موثر است.
چند مثال از موارد استفاده:
- آموزش مدل‌های تولید کپشن برای تصاویر ️
- ایجاد داده برای سیستم‌های توصیف صوتی از ویدئوها
- آموزش مدل‌های تولید متن از فایل‌های صوتی ضبط‌شده ️
- ##multimodal
- ##dataset
- ##CommonCrawl
- ##image
- ##audio
- ##video
- ##machine
- ##AI
- ##data
- ##web