我们的观点

郑州高端网站建设分享网站robots文件的写法规则

发表时间:2015-11-26 发布人员:gll

首页 > 我们的观点

  要想写好robots文件,还要明白robots文件标签的意义与规则,新元色郑州高端网站建设为大家整理了一份相关内容,如下

 

  user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

 

  disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

 

  disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

 

  disallow: /abc/ 这里定义是禁止爬寻abc整个目录

 

  disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以“。htm”为后缀的url(包含子目录)

 

  disallow: /*?* 禁止访问网站中所有的动态页面

 

  disallow: /jpg$ 禁止抓取网页所有的。jpg格式的图片

 

  disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件

 

  user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

 

  allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

 

  allow: /tmp 这里定义是允许爬寻tmp的整个目录

 

  allow: .htm$ 仅允许访问以“。htm”为后缀的url

 

  allow: .gif$ 允许抓取网页和gif格式图片

 

  详细了解了这些内容之后相信robots文件已经差不多明白了,关于网站建设,关于网站优化,新元色高端网站建设都在这里等你咨询为您服务建设网站:18837162405       400-090-1630

 

上一篇:营销型品牌网站建设怎么做 下一篇:郑州网站建设选择域名法则