YuanGongND/ast
چه کاری انجام میده؟ این پروژه شامل کد مربوط به مقاله AST: Audio Spectrogram Transformer است که در کنفرانس Interspeech 2021 ارائه شده. این مدل از معماری ترنسفورمر برای پردازش سیگنال‌های صوتی با استفاده از نمایش اسپکتروگرام استفاده می‌کند و در وظایف تشخیص گفتار و درک صدا عملکرد خوبی داره.
در چه شرایطی بهتره استفاده شود؟
وقتی به دنبال یک مدل پیشرفته برای پردازش صوت با دقت بالا هستی، به‌ویژه در شرایطی که داده‌های آموزشی محدود هستند، استفاده از این مدل مناسبه. همچنین برای تحقیقات مربوط به تطبیق ترنسفورمرها در حوزه صوت (مثل تشخیص فعالیت صوتی یا دسته‌بندی صدا) عالیه.
چند مثال از موارد استفاده:
- تشخیص فعالیت صوتی (مثل تشخیص تشویق، هواپیما، شکستن شیشه)
- دسته‌بندی گفتار در سیستم‌های هوشمند
- استفاده در مدل‌های چندوجهی (صوت + متن) برای درک بهتر محتوا
- ##AudioProcessing
- ##TransformerModel
- ##SpeechRecognition
- ##AST
- ##SoundClassification
- ##DeepLearning
- ##Interspeech2021
- ##MachineLearning
- ##AudioAI
- ##SpeechTech