快捷搜索:
合肥网站SEO优化

跟明光SEO网站优化一起了解百度优化Robots入门写法与规则

明光SEO网站优化今天很有必要跟大家分享一下Robots与死链的关系,这几天已经遇到了好几个SEOer在混淆这两个概念了,老是把Robot的应用与死链的处理,搭配到一起去使用,足足码字好几百,聊天记录都说了两页了,回头还是问了句,“怎么在robot中写死链提交”,我在想一定是我表达的方式不对.
 

开始练习如何写robots,经分析日志发现有大量的蜘蛛来抓取,现在只想让百度蜘蛛、360蜘蛛来抓取,其他都不允许抓取,

明光网站SEO优化告诉你怎么写robots规则?  

写法 1:
User-agent:Baiduspider
Disallow:
Disallow: /*.jpg$
Disallow: /*.bmp$
Disallow: /*.gif$
Disallow: /*.png$

User-agent:360Spider
Disallow:
Disallow: /*.jpg$
Disallow: /*.bmp$
Disallow: /*.gif$
Disallow: /*.png$

User-agent:*
Disallow: /


写法2:
· User-agent: Baiduspider
· Allow: /*
· User-Agent: 360Spider
· Allow: /*
· User-Agent: *
· Disallow: /
 

而且屏蔽所有的图片和ASP网页,都不希望抓取到,怎么写规则?
写法:
· User-agent: Baiduspider
· Disallow: /*.jpg$
· Disallow: /*.png$
· Disallow: /*.bmp$
· Disallow: /*.asp$
· User-Agent: 360Spider
· Disallow: /*.jpg$
· Disallow: /*.png$
· Disallow: /*.bmp$
· Disallow: /*.asp$
· User-Agent: *
· Disallow: /

索引擎蜘蛛名称
· 百度(Baidu)蜘蛛标识为:BaiDuSpider
· 谷歌(Google)蜘蛛标识为:GoogleBot
· 搜狗(Sogou)蜘蛛标识为:sogou spider
· 搜搜(SOSO)蜘蛛标识为:Sosospider
· 雅虎(Yahoo)蜘蛛的标识为:Yahoo! Slurp
 
· 1.User-agent: *  星号说明允许所有搜索引擎收录

注意事项:
· 1.如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。
· 2.必须命名为:robots.txt,都是小写,robot后面加"s"。
· 3.robots.txt必须放置在一个站点的根目录下。
· 4.一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow,User-agent和 Allow。
· 5.Disallow函数:不允许收录,则写Disallow: /  (注:只是差一个斜杆)。
· 6.使用robots文件还要注意不要屏蔽首页的后缀,比如:index.php、index.html等。
· 7.如果网站上存在一些比较大的文件,比如:打包文件、图片文件、音频视频文件、日志文件等,可以屏蔽掉,以节省宽带。


明光百度优化总结:
死链是必须清除的,对于搜索引擎而言,网站收录之前的死链一般不会被收录,因为没有价值;收录之后的死链,可能用户会在搜索结果或者站内浏览时点击到,影响用户体验,所以必须提交死链和投诉快照加快死链处理。robots与死链的关系很微妙,差别就在于这个死链地址是否还存在于网站内链当中。

SEO热门文章:

合肥百度排名优化