新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
简单、易用、灵活的网络类，spider/network for PHP , too simple .
一个基于dotnetspider的爬取大姐姐的爬虫
牛咖-neocrawler
nodejs 的爬虫系统。
特点：
支持web界面方式的摘取规则配置（css selector & regex）；
包含无界面的浏览器引擎（phantomjs），支持js产生内容的抓取；
用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽；
nodejs none-block 异步环境下的抓取性能比较高；
中央调度器负责网址的调度（同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量；
支持多种抓取实例并存，定制摘取引擎和存储方式。
foot是一个集足球数据采集器,简单分析的项目.AI足球球探为程序全自动处理,全程无人为参与干预足球分析足球预测程序.程序根据各大指数多维度数据,结合作者多年足球分析经验,精雕细琢,集天地之灵气,汲日月之精华,历时七七四十九天,经Bug九九八十一个,编码而成.有兴趣的朋友,可以关注一下公众号AI球探(微信号ai00268).
http://kaoshi.edu.sina.com.cn/college/scorelist?tab=file&wl=&local=28&syear=2018
一个基于 Java/Groovy 的 Spider，让抓取更简单。
