پروژه curator

NVIDIA-NeMo/Curator

این ابزار یک جعبه‌ابزار مقیاس‌پذیر برای پیش‌پردازش و گزینش داده‌ها در مدل‌های زبانی بزرگ (LLMs) است.

کاربرد:

این کیت به توسعه‌دهندگان کمک می‌کند تا داده‌های خام را تمیز، فیلتر و آماده برای آموزش مدل‌های زبانی کنند.

همچنین امکان حذف محتوای تکراری، تشخیص زبان و فیلتر محتوای نامناسب را فراهم می‌کند.

در چه شرایطی بهتره استفاده شود؟

وقتی با حجم بالای داده‌های متنی کار می‌کنی و نیاز داری قبل از آموزش مدل، داده‌ها رو بهینه و مرتب کنی.

مخصوصاً در پروژه‌هایی که دقت و کیفیت داده‌های آموزشی حیاتیه، مثل آموزش مدل‌های چندزبانه یا تخصصی.

چند مثال از موارد استفاده

• تمیز کردن داده‌های وب از محتوای تبلیغاتی و اسپم ️

• فیلتر کردن متن‌های غیرانگلیسی در یک دیتاست چندزبانه

• حذف متن‌های تکراری از یک مجموعه داده بزرگ برای جلوگیری از سوگیری مدل ️