pc
专业的设计团队
丰富的经验
技术团队
强大的技术团队
技术精湛
北京网站建设售后服务
7*24小时
优质的售后服务

您所在的位置: 首页 > 网站维护

网站robots文件设置的细节问题

        网站内robots设置是所有北京网站维护以及优化人员的必须部分,也是有点难度的部分,对于robots的设置,其大体看上去比较简单,但是很多优化人员在设置的时候,往往会忽略很多细节性的问题,现在小编就针对于robots设置中容易出错的部分进行解释说明,希望能帮到各位通道中人。
网站robots设置机器人卡通形象图
           robots文件是搜索引擎进入网站,对网站内容进行抓取,收录的一个入口,在我们进行设置的时候,要小心加小心。在进行设置时小编对于曾经所范的错误进行如下总结,希望能够帮助到大家
        第一:Allow与disallow顺序颠倒,User-agent: *  Allow: /  Disallow: /abcd/ 这样的顺序设置,看似没有什么的错误,其实小编想要表达的意思是,禁止搜索引擎抓取网站根目录下的abcd文件夹下的所有文件,可以抓取除abcd文件夹之外的所有问件夹,但是事实上,通过第一句Allow: /已经允许对网站所有目录进行抓取,第二句对于搜索引擎来说已经无效了。所以应该将Disallow: /abcd/放在Allow: /前面。
        第二:最容易犯的一个错误就是文件前面的斜杠的问题,这个问题最容易引发的就是站长的粗心问题。比如,我想屏蔽abcd.html这个文件,是应该这么写Disallow: abcd.html还是应该这么写Disallow:/ abcd.html。这个一看大家就能看明白是第二个,前面的斜杠是告诉搜索引擎 abcd.html这个网页在根目录下的路径,如果没有斜杠,搜索引擎就无法找到所要屏蔽的文件位置,作用也就没有起到。 
         第三:容易犯的另一个错误就是文件后面的斜杠问题,小编曾经想要屏蔽abcd这个目录下的所有文件,可是最初由于粗心写成了这样Disallow: /abcd。造成也搜索引擎无法抓取一abcd为开头的所有页面,对于abcd文件夹下面的页面进行了抓取,其实上述的写法,等同于Disallow: /abcd’*。的写法意思是告诉搜索引擎禁止抓取abcd为开头的所有页面,而非abcd问价夹内的文件。正确的做法是Disallow: /abcd/。
       上述便是小编在北京网站维护的日子里,所总结的几点robots干货,希望能够帮助到大家。http://www.lenovan.com

  • 电话:010-51288450
  • 热线电话:400-011-5558
  • 传真:010-51288450-8003
  • 邮箱:lenovan@126.com
  • 地址:朝阳区安慧东里16号新都市计划大厦901室
  • 版权所有:蓝迈通联网络科技(北京)有限公司
  • 信息产业部ICP备案:京IC备05046719
  • 电信与信息服务业务经营许可证 京ICP证100161号
Copyright 2008 ASAweb company. All rights reserved.
电话直呼
在线客服
在线留言
扫二维码
发送邮件
联系我们:24小时免费服务热线 400-011-5558
电话:010-51288450 15810765859 13031153440
客服萱萱
点击这里给我发消息
客服薇薇
点击这里给我发消息