请选择 进入手机版 | 继续访问电脑版
f
  • A 首页
  • P 发现
  • G 手机版
  • J 更多
  • 注册
  • QQ登录

您的等级不够,“高级及以上会员” 开启

知道啦!

您的等级不够,“vip会员”开启

知道啦!

求助!可以帮忙看一下这个robots协议是什么意思吗?最好详细一点!

tcbbtjy0821 发表于 2018-10-31 16:49 复制链接
阅读数:634
+1
640°C
6
  • 小七
  • theobald
  • redford
  • 静岳
  • ananda
过: 他们
1
求助!可以帮忙看一下这个robots协议是什么意思吗?最好详细一点!
snip_20181031161348.png

返回咨询列表
6 条评论
您需要登录后才可以评论 | 注册
小七 发表于 2018-11-01 09:01
阅读全部 2
百科.百度.com/item/robots协议/2483797
theobald 发表于 2018-12-06 10:25
阅读全部 3
同求_我的也是这样
redford 发表于 2019-01-31 11:47
阅读全部 4
同求_我的也是这样
静岳 发表于 2019-03-03 12:58
阅读全部 5
user-agent搜索引擎代理,后面写搜索引擎的标识。表示允许这些搜索引擎;
disallow:后面加上页面或目录的完整路径,表示禁止抓取这些页面;
这个robots有些问题,看最后两行,user-agent:*表示针对所有搜索引擎,都禁止抓取根目录。
ananda 发表于 2019-03-17 14:34
阅读全部 6
同求_我的也是这样
barr 发表于 2019-04-03 13:42
阅读全部 7
这事我也遇到过
相关推荐