RELATEED CONSULTING
相关咨询
选择下列客服马上在线沟通
服务时间:8:30-18:00
你可能遇到了下面的问题
关闭右侧工具栏
SEO是什么意思?SEO等于搜索引擎优化,它是基于搜索引擎的一种网络营销方式,隶属于SEM!!

robots.txt的作用是什么?robots怎么写

作者:华仔seo

我相信在了解过搜索引擎算法的SEOer都不陌生,robots文件是每一个搜索引擎蜘蛛到你的网站,首先访问的第一个文件。它就是一个网络协议,我们现实中有现实中的规章制度,网站同样的[…]

 

    robots.txt文件的作用和标准写法,我相信在了解过搜索引擎算法的SEOer都不陌生,robots文件是每一个搜索引擎蜘蛛到你的网站,首先访问的第一个文件。它就是一个网络协议,我们现实中有现实中的规章制度,网站同样的有它的规章制度。这个robots就是我们给网站的规章制度,我们可以通过这个协议限制搜索引擎不抓取哪些文件页面。通过robots搜索引擎就可以清楚的知道你网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的。像网站里面有一些保密的文件不希望搜索引擎抓取的,我们就可以通过这个网站的协议限制。写robots对于网站优化也是有一定的好处,可以减少搜索引擎的工作,一些没有必要展现的内容我们可以通过robots去屏蔽。
 
robots.txt文件具体作用是什么?
第一、屏蔽网站内的死链接:站内因为某种原因产生的死链提交到搜索引擎还没有解决的,可以通过robots屏蔽掉;如果网站的死链太多对搜索引擎抓很不好。如果大家想了解更多的死链知识,可以看我另外一篇文章:死链怎么产生的,如何快速查找站内死链并清理
 
第二、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面:一些企业类型的网站因为产品都是差不多的,小部分的全部就是颜色不同或者码数不同,网站的内容相似度重复会导致搜索引擎误以为垃圾页面。搜索引擎会对整个网站降权,对于这种类型的页面我们可以通过robots屏蔽部分相似页面,这样可以把产品页面的权重集中到一个上面。
 
第三、阻止搜索引擎索引站内的隐私性的内容:对于一些不方便公开的页面可以使用robots屏蔽,不给搜索引擎抓取。
 
robots怎么写:现在很多这些类型的工具了,像站长之家上面就有很方便的如下图:http://tool.chinaz.com/robots/
robots网站协议写法
 
大家不知道怎么写的时候可以把你不想被抓取的文件名字复制到上面,然后点击生成就可以了。
 
    robots.txt文件的基本语法只有两条:User-agent,(搜索引擎蜘蛛的名称),Disallow(即要拦截的部分)。大家可以参考我的:(我下面这个就是把网站的一个404页面屏蔽起来了,其中的(*)针对的是所有搜索引擎,如果你想针对个别的搜索引擎需要另外写。)
 
User-agent: *
Disallow: /404.html
Sitemap: https://www.cwtseo.com/sitemap.xml
Sitemap: https://www.cwtseo.com/sitemap.html
 
    所有搜索引擎蜘蛛名称:百度蜘蛛:(Baiduspider)、谷歌蜘蛛:(Googlebot)、360蜘蛛:(360Spider)、SOSO蜘蛛:(Sosospider)、雅虎蜘蛛:(Yahoo! Slurp China)、有道蜘蛛:(YoudaoBot)、搜狗蜘蛛:(Sogou News Spider)Alexa蜘蛛:(ia_archiver)必应蜘蛛:(bingbot )。

如果大家不知道自己写的robots文件有没有问题,可以把文件上传到网站根目录之后到百度站长平台里面的robots检测验证。如下图:
怎么验证robots文件

 
 

文章总结:robots.txt 必须放置在网站的根目录下,文件名必须全部小写。网站如果你没有想屏蔽的也要写,因为这样是方便搜索引擎,减少搜索引擎工作,如果想要把优化做的好就把网站地图放在robots文件里面,方便搜索引擎抓取网站全部页面。

 
当前位置:SEO > seo建站 >
本文地址:https://www.cwtseo.com/75.html
    专注:SEO优化   seo优化技术分享   网站排名优化  站长QQ:932816002 
  网站备案
粤ICP备17140954  粤公网安备 44030602002179号   sitemap  网站地图