apify/crawlee-python
کاربرد:
این کتابخانه یک ابزار قدرتمند برای اسکرپینگ وب و اتوماسیون مرورگر در پایتون است که به توسعه‌دهندگان کمک می‌کند تا خرّاک‌های قابل اعتماد بسازند. می‌تونی باهاش داده‌های خام رو از سایت‌ها استخراج کنی، فایل‌های HTML، PDF، JPG و PNG دانلود کنی و ازش برای تغذیه مدل‌های هوش مصنوعی، LLM، RAG یا GPT استفاده کنی. همچنین با BeautifulSoup، Playwright و درخواست‌های خام HTTP کار می‌کنه و از حالت‌های headful و headless پشتیبانی می‌کنه.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز داری داده‌های ساختاریافته از وب استخراج کنی، مخصوصاً اگر سایت‌ها دینامیک باشن (با جاوااسکریپت لود می‌شن) یا نیاز به دور زدن محدودیت‌های دسترسی باشه. این ابزار با قابلیت چرخش پروکسی مناسب پروژه‌های بزرگ و مقیاس‌پذیره که نمی‌خوان بلاک بشن.
چند مثال از موارد استفاده
جمع‌آوری داده‌های محصول از فروشگاه‌های آنلاین برای مقایسه قیمت
دانلود خودکار مقالات علمی به صورت PDF از پایگاه‌های دانشگاهی
استخراج تصاویر و محتوای رسانه‌ای از وب‌سایت‌های خبری
تهیه دیتاست آموزشی برای مدل‌های هوش مصنوعی از منابع عمومی
رصد تغییرات محتوای وب در طول زمان (web monitoring)
- ##web
- ##python
- ##crawlee
- ##AI
- ##proxy
- ##browser
- ##LLM
- ##RAG
- ##data
- ##headless