登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
Apache-2.0
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme Julia 易语言 OCaml Puppet YAML AutoHotkey Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
519952 zxhm 1587621259

诗酒年华/PageSpider

13
一个简单的页面爬虫工具，适用爬取不太复杂的网页中的图片和文本。
C#
Web爬虫
|
5年多前
59466 lizhengxian 1578915844

李争献/SpiderByScala

12
用Scala写的小爬虫，用到Java里的HttpClient，Jsoup等包，由于Scala基于Java，且作为Spark的源语言，以后可以考虑用集群来跑
Scala
Web爬虫
|
9年前

lg0322/FilmSpider

10
基于java的爬虫系统，可爬取国内主流视频网站的视频数据，目前支持爬取豆瓣、猫眼、IMDB、百度百科、优酷、电视猫数据。
Java
Web爬虫
|
接近3年前
1607679 ainilili 1578955807

nico/domain-crawling

7
全自动爬取域名信息脚本，易扩展，注释全~
Python
Web爬虫
|
接近6年前
493224 liinux 1596087533

liinux/crawler4j

7
crawler4j is an open source web crawler for Java which provides a simple interface for crawling the Web. Using it, you can setup a multi-threaded web crawler in few minutes.
Java
Web爬虫
|
接近8年前

风逝同学/videoCollector

7
多平台聚合视频采集器，可根据自定义条件采集全网视频
Go
Web爬虫
|
4年前
493224 liinux 1596087533

liinux/DataGether

6
数据采集程序,支持常见新闻网站数据，Twitter等社交网站数据采集，社交好友关系数据Neo4j图数据库展示等基础功能;
Java
Web爬虫
|
5年多前

bronson/cetty

6
一个轻量级的基于事件分发的爬虫框架
Java
Web爬虫
|
2年多前
1296212 changleibox 1578948340

God-body/TiebaCrawler

4
Python之scrapy爬虫实现百度贴吧的自动签到和自动发帖、自动回帖
Python
Web爬虫
|
接近5年前
1646371 tyoui 1578956781

Jtyoui/crawler

3
这是一个简单容易上手的Java单机版爬虫、上手只需要1分钟
Java
Web爬虫
|
5年前
22570 chenrh 1652061357

红杉/node-joke

2
偿试使用node做一些事情，本项目主要有抓取互联网笑话网站内容
Nodejs
JavaScript
Web爬虫
|
9年多前
5065992 qicreate 1578979511

乐耀智数/auto_download_link

1
自动抓取网页中的下载地址或者种子连接保存
Python
Web爬虫
|
接近5年前
514337 xank 1578926232

xank/disney-etl

0
迪士尼数据清洗服务，用于从迪士尼实时排队信息统计乐园整体情况
NodeJS
Web爬虫
|
6年多前
7979379 daileyet 1598444172

daileyet/goldeneye

0
Precious metal price spider and provider service to look up
Java
Web爬虫
|
接近4年前

irisroyalty/zeus

0
zeus采集器是一款免费的数据采集发布爬虫软件
Java
Web爬虫
|
接近4年前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
kanasimi/work_crawler
45
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
朱平齐/RuiJi.Net
130
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载，分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
lifankohome/music-spider
223
酷狗 + QQ + 百度 + 虾米 + 网易 = 橡皮音乐
tikazyq/crawlab
780
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
2.9K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
kanasimi/work_crawler
45
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
zorlan/蓝天采集器
809
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
tikazyq/crawlab
780
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
芦荟柚子茶/Csharp爬取音乐源码
119
基于.NET的音乐搜索与播放软件（编程语言：C#，爬取4个平台：酷我/网易云/酷狗/QQ） 基本思路： 1、模拟搜索：通过关键字，获取歌曲列表 2、获取歌曲关键信息（歌曲ID之类的唯一标识） 3、使用指定方法（某个url），根据歌曲ID获取歌曲播放地址 4、将歌曲下载到本地，实现下载或播放 限制：vip音乐大多没法爬取（酷我除外），而且为试听品质 代码内容相对较少，代码编写规范，个人认为是很好的入门project
ecitlm/Node-SpliderApi
541
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部