وب‌سرویس مجید

پروژه fetcher-mcp

jae-jae/fetcher-mcp

این پروژه یک سرور MCP است که با استفاده از مرورگر بدون سر (headless) Playwright، محتوای صفحات وب را دریافت می‌کند.

کاربرد:

این ابزار برای استخراج داده‌های صفحات وب پویا (مثل صفحاتی که محتوایشان با جاوااسکریپت بارگذاری می‌شود) مناسب است.

در چه شرایطی بهتره استفاده شود؟

وقتی با سایت‌هایی سروکار دارید که اطلاعاتشان پس از بارگذاری اولیه با اسکریپت‌ها نمایش داده می‌شوند و روش‌های ساده‌ی دریافت HTML (مثل cURL یا requests) نمی‌تونن محتوای نهایی رو بگیرن.

چند مثال از موارد استفاده:

- جمع‌آوری قیمت محصولات از فروشگاه‌های آنلاین

- استخراج اخبار یا مقالات از سایت‌های خبری

- رصد تغییرات در صفحات وب که محتوای پویا دارند

  • ##web
  • ##playwright
  • ##headless
  • ##data
  • ##mcp
  • ##dynamic
  • ##crawler
  • ##javascript
  • ##fetcher
  • ##automation