پروژه supercharged-web-scraping-with-asyncio

codingforentrepreneurs/Supercharged-Web-Scraping-with-Asyncio

این پروژه به تو کمک می‌کنه تا داده‌های وب رو به صورت همزمان و غیرهمزمان با استفاده از Python 3.8+ و کتابخانه‌ی Asyncio استخراج کنی.

از ابزاری به نام arsenic استفاده می‌شه که مثل Selenium عمل می‌کنه، اما برای محیط‌های غیرهمزمان طراحی شده — یعنی سریع‌تر و سبک‌تر.

کاربرد:

این ابزار عالیه برای اسکرپینگ سایت‌های پویا که محتوایشون با جاوااسکریپت بارگذاری می‌شه، بدون اینکه مجبور باشی از مرورگر کامل استفاده کنی.

همچنین مناسب جمع‌آوری داده‌های حجیم از چندین صفحه در کنار هم هست، بدون اینکه سیستم قفل کنه.

در چه شرایطی بهتره استفاده شود؟

وقتی نیاز داری داده‌های زیادی رو از سایت‌های مختلف بکشی و سرعت برات مهمه.

همچنین اگر می‌خوای از منابع سرور بهینه استفاده کنی و درخواست‌ها رو موازی انجام بدی، این پروژه گزینه‌ی عالی‌ایه. ️

چند مثال از موارد استفاده:

- جمع‌آوری قیمت‌های محصولات از فروشگاه‌های آنلاین

- مانیتورینگ رقابتی (مثل دنبال کردن تغییرات در سایت رقبا)

- استخراج اطلاعات از شبکه‌های اجتماعی یا سایت‌های شغلی

- ساخت دیتابیس داده‌های عمومی برای تحلیل بعدی ️