一个基于dotnetspider的爬取大姐姐的爬虫
基于.NET的音乐搜索与播放软件(编程语言:C#,爬取4个平台:酷我/网易云/酷狗/QQ)
基本思路:
1、模拟搜索:通过关键字,获取歌曲列表
2、获取歌曲关键信息(歌曲ID之类的唯一标识)
3、使用指定方法(某个url),根据歌曲ID获取歌曲播放地址
4、将歌曲下载到本地,实现下载或播放
限制:vip音乐大多没法爬取(酷我除外),而且为试听品质
代码内容相对较少,代码编写规范,个人认为是很好的入门project
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载,分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
一款URL网址采集工具。支持自定义采集规则以适配不同搜索引擎