1 Star 0 Fork 0

hotmocha / chinawealth-spider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

#chinawealth-spider lcspider2.py为最新版本。主要功能为:(1)实时爬取chinawealth所有理财信息; (2)动态更新理财销售区域信息; (3)使用多进程方式(3个进程),一个管理进程,两个工作进程:一个爬取新理财信息进程,一个更新理财销售区域信息进程。 管理进程监视两个工作进程的工作状态,如果异常退出重新启动。 (4)使用mysql数据登记爬取得数据。 lcspider.py:面向过程编程,只有抓取理财信息没有销售区域信息,单进程模式,避开网络对于爬虫的设置机制,对于特定的错误码做等待然后重新爬取。 lcspider1.py:面向过程编程和面向对象结合,但是没有没有做进程的控制,两个进程分别爬取记录信息和理财区域信息(这部分对连续爬取限制的比较严格一般4次就需要休息),使用共享内存做进程间数据交互。碰到mutiprocessing.list长时间运行有管道破裂的问题。阅读python官方网站貌似是个2.7版本的bug。 lcspider2.py:使用mysql数据作为进程数据交互的通道;守护进程方式启动;管理进程的添加,工作进程异常退出的重启;信号处理函数SIGTERM的设置;应用退出的统一管理,由主进程统一强制退出工作进程;工作时间的添加,晚上不爬取。

空文件

简介

chinawealth-spider 展开 收起
Python
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/hotmocha/chinawealth-spider.git
git@gitee.com:hotmocha/chinawealth-spider.git
hotmocha
chinawealth-spider
chinawealth-spider
master

搜索帮助