当前仓库属于暂停状态,部分功能使用受限,详情请查阅 仓库状态说明
13 Star 32 Fork 9

五十风 / BeiJingSubwayFlows
暂停

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
README.md 1.12 KB
一键复制 编辑 原始数据 按行查看 历史
gojuukaze 提交于 2020-05-08 10:15 . Update README.md

BeiJingSubwayFlows

这个爬虫代码已过时,不再维护
之前微博是把html代码放到了js中,所以可以从代码中直接提取需要的数据

突然很好奇北京地铁每天的客流量变化,于是写了个爬虫。结果很有意思,每周7天的客流变化都很规律


结果:

https://www.ikaze.cn/sub_flows.html

其他:

  • 使用python3爬数据,echart统计图  
  • 爬虫的结果直接存到了文件中,因为项目比较小,就不用数据库了  
  • 爬虫脚本只是爬昨天的数据的,需要所有的要改一下get_flow_from_html()函数
def get_flow_from_html(html):

    # 需要根据页数调整年份
    year = 2018

    soup = bs(html, 'html.parser')
    work_list = soup.find_all('div', class_='work_list')
    data = work_list[0].find_all('li')
    for d in data:
        s = data.get_text()
        ...

然后直接循环跑就行:

page=200
while page>0:
    html = get_html(get_page_url(page))
    get_flow_from_html(html)
    ...
Python
1
https://gitee.com/gojuukaze/BeiJingSubwayFlows.git
git@gitee.com:gojuukaze/BeiJingSubwayFlows.git
gojuukaze
BeiJingSubwayFlows
BeiJingSubwayFlows
master

搜索帮助