南山SEO是南山网络旗下专注企业营销的网站,QQ:908852359【微信同号】,专注SEO排名,竞价推广服务。
当前位置:南山SEO > SEO教程 > 正文

网站robots应该怎么写?

2018-07-29 SEO教程 作者:南山SEO

一般来说,网站或多或少都存在一些对排名没意义甚至有害的页面。对于站长来说是不希望被搜索引擎检索的。而robots.txt文件则承担了
站长这个意愿的表达功能。当蜘蛛访问网站会优先抓取robots.txt,遵循站长配置的规则不再抓取不利于SEO的内容。

robots.txt

 

robots.txt文件位置

robots文件往往放置于根目录下

robots.txt文件格式

Disallow:该项的值用于描述不希望被访问的一组URL

Allow:该项的值用于描述希望被访问的一组URL

User-agent:该项的值用于描述搜索引擎robot的名字

例如:

User-Agent:YisouSpider // 配置YisouSpider

Disallow: / // 不允许YisouSpider抓取网站任何内容

User-Agent:* // 配置所有搜索引擎

Allow: / // 允许抓取网站任何内容

更多

Disallow: /abc //禁止抓取含abc目录及子目录的所有页面

注意:有些地方注释为“禁止抓取abc目录及子目录中的内容”百度官方有举例,"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html

Disallow: /abc/ //禁止抓取含abc目录的所有页面

百度官方有举例,"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。

robots.txt通配符的使用

"*" 匹配0或多个任意字符

"$" 匹配行结束符。

举例:

Disallow: /*?* //禁止抓取网站中所有的动态页面

Disallow: /*.htm$ // 禁止抓取所有以.htm为后缀的URL页面 /abc.htm/index 不匹配

区别于Disallow: /*.htm // /abc.htm/index 也匹配

更多robots.txt,可以参照百度站长站长平台关于robots.txt

网站哪些内容不建议被抓取

对于这个思想这个小白也懂的不多,一般取决于内容是否利于SEO的原则。例如,我博客的搜索结果页,没做好优化的tags页都禁止抓取了。而对于企业站来说,如果不打算可以优化公司名称的关键词,关于、联系、企业新闻等一些内容都可以考虑禁止

还有一点值得注意的事,有很多站长反馈说百度不遵循robots.txt协议,抓取不该抓取的内容。思享也感觉不是很靠谱,所以也可以考虑在一些页面设置meta name="robots"

百度的解释理解起来或许有所偏差,如果有不对,大家可以指正、交流


版权保护: 转载请保留链接: https://www.nanshanseo.com/course/60.html

打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦


使用手机扫描二维码访问本页面:


评论区:
验证码:看不清?点击更换

0条评论

博客主人南山SEO
南山SEO是太原南山网络科技有限公司旗下专注SEO的网站,我们做SEO网站优化8年,熟悉各种CMS,精通各种搜索引擎排名,深知产品推广套路。
南山网络SEO服务公司使命:助力中小企业在各大搜索引擎实现SEO营销!
百度,360,搜狗,神马等搜索引擎优化排名一网打尽!一直被模仿,从未被超越!
联系QQ:908852359【微信同号】
  • 热门标签

    申请友链 | 友情链接: 太原网站建设 大标SEO 郑州SEO