Watch Star Fork

aming / ebookappPHP

加入码云
与超过 300 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
基于bootstrap的php小说采集系统 http://020mk.cn
一键复制 编辑 原始数据 按行查看 历史
robots.txt 95 Bytes aming 提交于 2014-07-23 09:40 . 重新修改适应原抓取网站的变化
User-Agent: *
Allow: /category
Allow: /chapter
Allow: /data
Disallow: /install
Disallow: /admin

评论 ( 0 )

你可以在登录后,发表评论

搜索帮助