1.2K Star 4.8K Fork 1.9K

GVP黄亿华 / webmagic

 / 详情

抓取速度太慢了,不知道问题再哪里?

待办的
创建于  
2020-05-28 14:51

PageProcessor中的process的Page的数据已经解析完毕,已经结束了,但是爬虫的线程迟迟没有关闭,导致 Spider spider = Spider.create(pageProcessor);
ResultItems resultItems = spider.get(urlNameBuilder.toString());
一直等待,基本都要4秒左右,不知道是哪里的问题

评论 (1)

奋斗的驴 创建了任务
奋斗的驴 关联仓库设置为黄亿华/webmagic
展开全部操作日志

Spider 有个休眠时间 在new Site的时候sleepTime 默认值5000
解决办法
Site site = Site.me().setSleepTime(0);

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(2)
742399 lanzhenkai 1609297411
Java
1
https://gitee.com/flashsword20/webmagic.git
git@gitee.com:flashsword20/webmagic.git
flashsword20
webmagic
webmagic

搜索帮助