USCDataScience/sparkler
این یک خزنده اینترنتی (Web Crawler) مبتنی بر آپاچی اسپارک است که الهام‌گرفته از آپاچی ناتچ (Apache Nutch) است و برای جمع‌آوری داده از وب به صورت توزیع‌شده طراحی شده است. ️
کاربرد:
این ابزار برای کاوش داده‌های وب در مقیاس بزرگ استفاده می‌شود و امکان استخراج اطلاعات از صفحات وب را با قدرت پردازش توزیع‌شده اسپارک فراهم می‌کند.
در چه شرایطی بهتره استفاده شود؟
وقتی نیاز به پردازش حجم بالای داده‌های وب دارید و می‌خواهید از زیرساخت اسپارک استفاده کنید، این ابزار گزینه مناسبی‌ست. همچنین اگر با ابزارهایی مثل ناتچ آشنا هستید اما به دنبال راه‌حلی با قابلیت‌های اسپارک هستید، این پروژه می‌تونه جایگزین خوبی باشه.
چند مثال از موارد استفاده:
- جمع‌آوری داده برای موتورهای جستجوی دانشگاهی
- تحلیل محتوای وب در پروژه‌های داده‌کاوی
- ساخت مجموعه داده برای آموزش مدل‌های یادگیری ماشین
- نظارت بر تغییرات محتوای وب‌سایت‌ها به صورت دوره‌ای
- ##WebCrawler
- ##ApacheSpark
- ##DataScience
- ##BigData
- ##DistributedCrawling
- ##Sparkler
- ##WebScraping
- ##DataMining
- ##MachineLearning
- ##OpenSource