请选择 进入手机版 | 继续访问电脑版
  • 注册
  • QQ登录
  • 微信登录
*本站广告为第三方自助投放。发生纠纷,向本站索取第三方联系方式沟通。

求助!可以帮忙看一下这个robots协议是什么意思吗?最好详细一点![复制链接]

tcbbtjy0821 发表于 2018-10-3116:49 显示全部楼层 阅读模式
+1
782°C
6
  • 小七
  • theobald
  • redford
  • 静岳
  • ananda
过: 他们
联系tcbbtjy0821:
1
求助!可以帮忙看一下这个robots协议是什么意思吗?最好详细一点!
snip_20181031161348.png

返回
6 条评论
您需要登录后才可以评论 | 注册
小七 发表于 2018-11-0109:01 显示全部楼层
百科.百度.com/item/robots协议/2483797
theobald 发表于 2018-12-0610:25 显示全部楼层
同求_我的也是这样
redford 发表于 2019-01-3111:47 显示全部楼层
同求_我的也是这样
静岳 发表于 2019-03-0312:58 显示全部楼层
user-agent搜索引擎代理,后面写搜索引擎的标识。表示允许这些搜索引擎;
disallow:后面加上页面或目录的完整路径,表示禁止抓取这些页面;
这个robots有些问题,看最后两行,user-agent:*表示针对所有搜索引擎,都禁止抓取根目录。
ananda 发表于 2019-03-1714:34 显示全部楼层
同求_我的也是这样
barr 发表于 2019-04-0313:42 显示全部楼层
这事我也遇到过
相关推荐

tcbbtjy0821 Lv.3 池畔闲人

头衔 : 起个好听的头衔

签名 : 一句话描述自己