watzon/arachnid
این یک فریم‌ورک قدرتمند برای اسکرپینگ وب با زبان کریستال (Crystal) است. ️
کاربرد:
این ابزار به تو اجازه می‌ده تا داده‌های وب‌سایت‌ها رو به صورت ساختاریافته جمع‌آوری کنی، مثل استخراج متن، لینک‌ها، تصاویر و غیره.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری داده‌های زیادی رو از وب سایت‌ها استخراج کنی و عملکرد بالا و مصرف پایین منابع مهمه. چون کریستال سریعه، این فریم‌ورک برای پروژه‌های سنگین اسکرپینگ عالیه.
چند مثال از موارد استفاده:
- جمع‌آوری قیمت محصولات از سایت‌های فروشگاهی
- استخراج اخبار و مقالات از وب‌سایت‌های خبری
- مانیتورینگ تغییرات در صفحات وب
- ساخت دیتابیس از اطلاعات عمومی مثل آگهی‌ها یا مشاغل
- ##web
- ##CrystalLang
- ##data
- ##automation
- ##crawler
- ##Arachnid
- ##open
- ##fast
- ##web
- ##data