请选择 进入手机版 | 继续访问电脑版

求助!可以帮忙看一下这个robots协议是什么意思吗?最好详细一点![复制链接]

tcbbtjy0821 发表于 2018-10-3116:49 显示全部楼层 阅读模式
+1
1249°C
7
  • 小七
  • theobald
  • redford
  • 静岳
  • ananda
过: 他们
联系tcbbtjy0821:
1
求助!可以帮忙看一下这个robots协议是什么意思吗?最好详细一点!
snip_20181031161348.png

7条评论
83_avatar_small 小七 发表于 2018-11-0109:01 显示全部楼层
百科.百度.com/item/robots协议/2483797
52_avatar_small theobald 发表于 2018-12-0610:25 显示全部楼层
同求_我的也是这样
66_avatar_small redford 发表于 2019-01-3111:47 显示全部楼层
同求_我的也是这样
89_avatar_small 静岳 发表于 2019-03-0312:58 显示全部楼层
user-agent搜索引擎代理,后面写搜索引擎的标识。表示允许这些搜索引擎;
disallow:后面加上页面或目录的完整路径,表示禁止抓取这些页面;
这个robots有些问题,看最后两行,user-agent:*表示针对所有搜索引擎,都禁止抓取根目录。
36_avatar_small ananda 发表于 2019-03-1714:34 显示全部楼层
同求_我的也是这样
15_avatar_small barr 发表于 2019-04-0313:42 显示全部楼层
这事我也遇到过
55_avatar_small chuwang 发表于 2019-10-2414:23 显示全部楼层
你都禁忌爬行你的网站根目录了,蜘蛛能进来吗,把你那个最后一行删了
相关推荐

43_avatar_small

tcbbtjy0821 Lv.3 池畔闲人

头衔 : 起个好听的头衔

签名 : 一句话描述自己