my8100/scrapydweb
کاربرد:
این ابزار یک اپلیکیشن تحت وب برای مدیریت خوشه‌های Scrapyd هست که به توسعه‌دهندگان کمک می‌کنه تا پروژه‌های Scrapy رو به صورت متمرکز مدیریت کنند. ️
امکاناتی مثل تحلیل و نمایش بصری لاگ‌های اسکرپینگ، بسته‌بندی خودکار پروژه‌ها، اجرای وظایف زمان‌بندی‌شده، نظارت لحظه‌ای و هشدار، و رابط کاربری ساده برای دستگاه‌های همراه رو فراهم می‌کنه.
در چه شرایطی بهتره استفاده شود؟
وقتی که چندین نمونه Scrapyd در محیط‌های مختلف (مثل تست، توسعه، تولید) داری و می‌خوای همه‌شون رو از یک پنل متمرکز مدیریت کنی، این ابزار عالیه.
همچنین اگر نیاز داری به صورت دور از سرورها، عملکرد اسکرپرها رو ببینی، خطاها رو رصد کنی یا وظایف تکراری رو زمان‌بندی کنی، استفاده از این ابزار منطقی‌تر می‌شه.
چند مثال از موارد استفاده
رصد لاگ‌های اسکرپرها در زمان واقعی و دیدن خطاها با رنگ‌های متفاوت
اجرای خودکار اسکرپرها در زمان‌های مشخص (مثل هر صبح ساعت ۶)
بسته‌بندی خودکار پروژه‌های Scrapy و آپلود به Scrapyd بدون نیاز به دستورات دستی
نمایش وضعیت سلامت همه نمونه‌های Scrapyd در یک داشبورد واحد
دسترسی از طریق موبایل برای چک کردن وضعیت اسکرپرها در هر جایی
- ##Scrapyd
- ##Scrapy
- ##WebCrawling
- ##Monitoring
- ##Automation
- ##LogAnalysis
- ##TaskScheduler
- ##DataExtraction
- ##Python
- ##WebApp