elixir-crawly/crawly
کاربرد:
این فریم‌ورک برای کراولینگ و اسکرپینگ وب‌سایت‌ها در زبان ارلنگ/الیکسیر طراحی شده. با استفاده از قابلیت‌های قدرتمند الیکسیر مثل همزمانی و پردازش موازی، می‌تونی به راحتی داده‌های وب رو جمع‌آوری کنی.
در چه شرایطی بهتره استفاده شود؟
اگر داری روی یک سیستم مقیاس‌پذیر و قابل اعتماد کار می‌کنی که نیاز به جمع‌آوری داده از صدها یا هزاران صفحه داره، این ابزار عالیه. به خصوص وقتی می‌خوای از مزایای ماشین مجازی ارلنگ (BEAM) مثل پایداری بالا و مدیریت فرآیندهای موازی استفاده کنی، مناسب‌ترین گزینه‌ست.
چند مثال از موارد استفاده
جمع‌آوری قیمت‌های محصولات از فروشگاه‌های آنلاین
استخراج اخبار و مقالات از وب‌سایت‌های خبری
مانیتورینگ محتوای وب برای تغییرات
ساخت دیتابیس از اطلاعات عمومی مثل شغل‌ها یا املاک
- ##web
- ##elixir
- ##crawling
- ##data
- ##concurrency
- ##BEAM
- ##distributed
- ##async
- ##open
- ##crawler