my8100/scrapyd-cluster-on-heroku
این پروژه به تو کمک می‌کنه تا با چند کلیک ساده، یک خوشهٔ Scrapyd برای اسکرپینگ توزیع‌شده و مقیاس‌پذیر روی Heroku راه‌اندازی کنی.
کاربرد:
این ابزار برای اجرای موازی اسکرپت‌های Scrapy در محیطی ابری و رایگان طراحی شده. مناسب زمانیه که می‌خوای ده‌ها یا صدها اسپایدر رو همزمان و بدون نگرانی از محدودیت منابع اجرا کنی.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری داده‌های زیادی رو از وب استخراج کنی، اما نمی‌خوای زیرساخت سرور مدیریت کنی. همچنین وقتی می‌خوای تست کنی که اسپایدرات چطور در محیط توزیع‌شده عمل می‌کنن، بدون پرداخت هزینه.
چند مثال از موارد استفاده:
جمع‌آوری قیمت‌های محصولات از سایت‌های مختلف به صورت همزمان
مانیتورینگ تغییرات محتوای وب‌سایت‌ها در بازه‌های زمانی کوتاه
اجرای دوره‌ای اسکرپت‌های تحلیل داده برای تحقیقات بازار
- ##web
- ##scrapy
- ##scrapyd
- ##heroku
- ##distributed
- ##spider
- ##data
- ##cloud
- ##automation
- ##scalable