chiphuyen/lazynlp
این یک کتابخانه پایتونیه که بهت کمک می‌کنه به راحتی صفحات وب رو جمع‌آوری کنی و تمیزشون کنی تا دیتاست‌های بزرگ برای آموزش مدل‌های یادگیری ماشین بسازی.
کاربرد:
این کتابخانه برای افرادی که نیاز به داده‌های خام از اینترنت دارن بسیار مفیده، مثلاً برای آموزش مدل‌های زبانی بزرگ (LLMs) یا تحقیقات در حوزه NLP.
در چه شرایطی بهتره استفاده شود؟
وقتی می‌خوای دیتاست حجیمی از متن‌های خام از وب جمع‌آوری کنی و نیاز داری محتوای غیرمرتبط مثل تبلیغات، منوها یا اسکریپت‌ها رو حذف کنی. همچنین اگر می‌خوای فرآیند اسکرپینگ و پاکسازی داده رو خودکار کنی، این ابزار گزینه مناسبیه.
چند مثال از موارد استفاده:
ساخت دیتاست متنی از اخبار و مقالات آنلاین
جمع‌آوری داده از وبلاگ‌ها برای آموزش چت‌بات
پاکسازی متن‌های خام از صفحات وب برای استفاده در مدل‌های NLP
استفاده در تحقیقات دانشگاهی برای دسترسی به داده‌های باز
- ##web
- ##NLP
- ##data
- ##machine
- ##AI
- ##dataset
- ##text
- ##open
- ##lazy
- ##big