代码拉取完成,页面将自动刷新
Author: littlethunder mail:kingthunder2004@aliyun.com
##基本要求
使用python编写一个网站爬虫程序,支持参数如下:
python3 spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5”
####参数说明:
-u 指定爬虫开始地址
-d 指定爬虫深度
--thread 指定线程池大小,多线程爬取页面,可选参数,默认10
--dbfile 存放结果数据到指定的数据库(sqlite)文件中
--key 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面
-l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认spider.log
--testself 程序自测,可选参数
####功能描述:
##基本说明
##测试情况统计
测试运行命令是:python3 spider.py -u http://www.sina.com.cn -d 3 -l 4 --key 科技
测试使用工具:nethogs、htop。
默认在本目录下生成:
####总共URL数量共158238个,15万条的量级:
####系统网络、CPU、内存占用情况:
##运行情况截图:
##v0.4更新说明:
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。