快捷导航
【百度前50名】1-3天快速上首页前三 ▇--------8000个权重34友链出售------▇ 夫唯SEO系统培训视频课程(课后复习) 【SEO快速排名前3】百度好搜搜狗 买链接▇卖链接▇就上【无忧当铺网】
★百度快速排名★诚招代理★提供后台★ 投资1500月入万元-下拉框排名招代理 ( ′ ▽ ` )ノ 外链代发 20天无效退款 ▇▇▇网页设计▇▇▇零基础入门教程 ★零基础★DIV+CSS技巧手把手教给你
广告位招租,咨询QQ:800005226 ★百度快速seo提升至前三名隔日见效 百度前20页快速上首页▇▇招代理▇▇ 小七答疑:免费的一对一SEO诊断咨询 ★★★新站优化★★★快排全国招商加盟
查看: 205|回复: 11

你真的知道robots怎么用吗?实践胜雄辩!----SEO篇章

[复制链接]

220

威望值

20

经验值

483

金钱

小七资深版主

帖子
112
积分
1199
注册时间
2016-12-14
喻海凡 发表于 2017-1-12 02:00:33 | 显示全部楼层 |阅读模式
本帖最后由 喻海凡 于 2017-1-12 12:39 编辑

相信各位站长都知道你的网站中有robots文件,但他的作用有哪些?还是有些站长一知半解的,接下来篇章教大家robots怎么用。
一、我们一个新站如果没把站内布局做完,可以用robots文件设置禁止搜索引擎抓取访问,它禁止全部蜘蛛爬行的语法是:
User-agent: *
Disallow: /
如果你想禁止个别搜索引擎蜘蛛,我拿谷歌的举例:
User-agent: Googlebot
Disallow: /
按理说我们设置了禁止这样蜘蛛就不会爬行了,然而事实真是这样吗?
篇章的答案是否定的。请看案例(以百度蜘蛛为例)
大家在百度搜索“淘宝”就能看到了,截图:
结果显示:“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述”
而且是可以访问,(ps:这个是大的网站是特殊例外,笔者也想过之前做过查证,而且确实有这样的网站,只是在无意中看到的当时没有记录,实在抱歉今天再找却记不起来了)
应用:新网站测试,站长心想没有提交蜘蛛应该不会被收录,谁知被奇妙的收录了(ps:可怜的优化策略没有上马,就这样跟百度蜘蛛邂逅了)之后采取robots屏蔽发现这些需要时间不能达到预期效果,网站被竞争者窃取,由于时间紧急的原因,最后是关闭服务器提交死链才消除百度搜索收录记录。

2、robots.txt具有屏蔽死链接的作用,提交后会不会立马这些死链接会消失收录?
篇章的答案是否定的,因为我们都知道百度在各个省都有百度的服务器,因此不可能同时清除缓存,为此我们可以ping一下百度。
操作过程:
一、打开系统的运行,快捷键是“WIN+R”  输入cmd
二、ping-空格-百度域名-回车
操作完我们会看到这样的:
我本地是上海的IP,它显示的是115.239.211.112 各位的IP肯定跟我不一样,因此验证了我上面所说。
不过想快速消失死链百度站长平台倒是有一个“死链提交”的功能,大家可以去看看,那是快速清除死链的方法,前些天试了一下,还挺好用,很快就能得到响应:
不知道大家看完后有什么想说的,都可以在评论区评论一下,篇章会尽心回复的。
原文链接:http://www.seopz.com/seo/3786.html
篇章语录:再牛逼的优化技术 也拼不过冒着傻气的坚持。
本文由 SEO篇章原创,转载还请注明出处,请大家尊重原创,珍惜别人的汗水!

SEO篇章:站长QQ:245858536  SEO技术交流群:119530297(篇章语录:再牛逼的优化技术 也拼不过冒着傻气的坚持。)

139

威望值

115

经验值

1745

金钱

顾问级达人

帖子
2343
积分
3648
注册时间
2010-7-24

SEO水平合格认证说明

头发凌乱 发表于 2017-1-12 10:10:58 | 显示全部楼层
死链接通常是因为此页面意外丢失,或者页面脚本出错,网址还在,不过内容缺失,统称为死链接,屏蔽死链接的方法就是不向百度提交些链接,或更正些链接内容即可,然后重新提交链接页面即可。

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢大侠的解答!赞同你的观点。

查看全部评分

1

威望值

7

经验值

3882

金钱

Lv.5 SEO研究生

帖子
1769
积分
4770
注册时间
2012-7-26
xiguasoft 发表于 2017-1-12 10:23:20 | 显示全部楼层
很实用的小技巧 必须学习学习

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

1

威望值

8

经验值

1337

金钱

Lv.5 SEO研究生

帖子
1095
积分
1888
注册时间
2012-10-19
Free丶tempo 发表于 2017-1-12 14:41:09 | 显示全部楼层
学习了  谢谢分享

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

骆驼地暖 www.loto.cn

46

威望值

20

经验值

419

金钱

Lv.5 SEO研究生

帖子
579
积分
847
注册时间
2014-11-11
小凳子 发表于 2017-1-12 15:28:02 | 显示全部楼层
学习了,继续发好文章

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

小额信贷www.jiandanjiekuan.com

25

威望值

20

经验值

1082

金钱

Lv.5 SEO研究生

帖子
1097
积分
1706
注册时间
2015-1-26
发发发发发了 发表于 2017-1-12 15:49:09 | 显示全部楼层
百度站长平台有一个“死链提交”的功能,谢谢楼主的帖子

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

63

威望值

19

经验值

3527

金钱

Lv.5 SEO研究生

帖子
1775
积分
4604
注册时间
2015-5-17
悠然的枫 发表于 2017-1-12 20:18:53 | 显示全部楼层
很少用,默认初始设置。

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

5

威望值

20

经验值

2702

金钱

Lv.5 SEO研究生

帖子
2069
积分
3752
注册时间
2016-5-9
yaozhong6625 发表于 2017-1-12 22:58:11 | 显示全部楼层
不错不错,学习了。感谢分享

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

http://www.ub8t.com/      
http://www.fenfencai.wang/   
http://www.2017shishicai.com/
http://www.ruyiyuleguanwang.com/
http://www.youyouyulepingtai.com/
http://www.ruyiyule111.com/

0

威望值

20

经验值

3319

金钱

Lv.5 SEO研究生

帖子
2476
积分
4557
注册时间
2014-10-10
pertepan 发表于 2017-1-12 23:03:38 | 显示全部楼层
楼主说得很好,支持了

评分

参与人数 1金钱 +1 收起 理由
喻海凡 + 1 谢谢支持!

查看全部评分

5

威望值

20

经验值

2125

金钱

Lv.5 SEO研究生

帖子
1597
积分
2939
注册时间
2014-4-19
paddoor2014 发表于 6 天前 | 显示全部楼层
好东西一起分享,学习更多的知识,多多分享哦,坐等着更新!!!
网站手机号码抓取www.shbaisou.com关键词快速排名www.chinabaisou.com
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|SEO培训|SEO问答|SEO站长工具|SEO教程|教研室|小七论坛 ( 粤ICP备08003897号 )

工作日:09:00-18:00 账号或帖子问题请您加QQ:800005226 / 广告业务QQ:800005226 / SEO培训报班:800035397

Powered by Discuz-seo - 搜外网 X3.2

© 2007-2016 联系我们

快速回复 返回顶部 返回列表