全球最大成人网站PornHub爬虫 (Scrapy、MongoDB) 一天500w的数据
全球最大成人网站PornHub爬虫 (Scrapy、MongoDB) 一天500w的数据
9miao.com自研并开源的手机网游《暗黑世界》,卡牌类型,服务器端基于开源的游戏服务器端框架firefly,客户端基于开源的客户端引擎cocos2d-x,商品级开源项目。
多线程知乎用户爬虫,基于python3
Firefly是免费、开源、稳定、快速扩展、能 “热更新”的分布式游戏服务器端框架,采用Python编写,基于Twisted框架开发。Firefly的设计理念是“让开发者专注前端”,它包括了开发框架和数据库缓存服务等各种游戏服务器基础服务,节省大量游戏开发的工作时间,真正做到让使用者把精力放在游戏玩法逻辑上。用它可以搭建自定义的分布式架构,只需要修改相应的配置文件即可。
通过一个实际的项目,来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例,对组内的图片进行爬取,相关信息保存数据到MongoDB,图片下载到本地。
最近一年贡献:0 次
最长连续贡献:0 日
最近连续贡献:0 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。