代码拉取完成,页面将自动刷新
前几天看到 http://doc.shenjianshou.cn/ 觉得不错,就省下几天守望开车时间照着文档用php实现了一遍,下面是对比shenjianshou的不足,改进和使用上的区别
不足:
- 没有js渲染
- 没有验证码识别
- 暂时没有自动换代理
- 暂时没有图片本地化/托管云
- 暂时没有模拟登录
- 暂时没有录入数据库 (已加)
特点/改进:
- 多进程,现在只能在liunx下使用了,单进程很容易内存耗尽- -
- 使用curl multi"多线程",可以自定义"线程"数,速度刷刷刷的
- 支持css选择器,xpath,正则3种选择器
使用上的区别:
- 查看SiteConfig目录下 数字.php 具体配置,因为用php搞的,各种传递参数啥的都不一样,但看起来大体一样;
- 用Xpath取回来的是innerHtml
- jsonpath没怎么弄
- contentUrlRegexes helperUrlRegexes 规则里没带域名
git clone https://github.com/ketle/jiumozhi.git
cd jiumozhi
composer install
配置config.php下db,redis设置
Usage: php index.php <1-n> <test|start|stop|restart>
比如: php index.php 1 test
手动停止请Ctrl+c
SiteConfig目录下自带了5个例子;
第一个例子入库2599条数据 时间从2016-08-22 22:15:13 - 2016-08-22 22:17:48 才用时2分半
拍脑袋想出来的,哈哈哈
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型