欢迎您的莅临,我们是长春信维网络,这里提供高端定制网站制作、移动端手机网站制作、免费网站SEO诊断及企业SEO培训等服务!!
咨询热线:18343115558
微信号18343115558
技术分享 News
分享网站建设技术,解决SEO常见问题,互联网全新资讯

长春信维网络介绍网站robots协议文件的作用及robots写法

作者 :念清泉网络部 | 点击 : 127 | 来源 :https://www.ccxinwei.com | 分类 : 技术分享 | 发布时间 15:17:13
05Mar
2020
robots.txt协议文件是一个网站做好SEO的基础,它能够告诉搜索引擎什么地方是应该访问的,什么地方是不可以访问的,通常情况下协议放在网站的根目录里面,是一个纯文本文档。那这个robots.txt应该怎么使用,使用后有什么效果呢 ...

  robots.txt协议文件是一个网站做好SEO的基础,它能够告诉搜索引擎什么地方是应该访问的,什么地方是不可以访问的,通常情况下协议放在网站的根目录里面,是一个纯文本文档。那这个robots.txt应该怎么使用,使用后有什么效果呢?robots.txt怎么写?下面长春信维网络给您一个个讲解。

  robots文件是什么?

  robots.txt文件是存放与网站根目录下的一个txt格式的文本文档,叫做robot协议,也可以简单的理解为爬虫协议、蜘蛛协议等,是网站与搜索引擎爬虫之间的一个协议。

  协议是什么意思?计议、协商、商议。那搜索引擎爬虫是做什么的?是抓取我们网站内容的。robots文件就好似网站和爬虫之间签订的一份协议,告诉它我网站的内容,哪些你可以抓取收录,哪些你不能碰!

robots文件

  robots.txt文件写法详解

  robots文件有什么作用?

  1.保护我们网站的隐私内容不被爬虫抓取,表面透露隐私内容。例如:用户数据、管理员信息等。

  2.我们可以利用好robots文件来做好网站的SEO优化工作,比如清理网站死链的时候可以把死链接写进robots文件,再或者可以将网站地图写进robots方便爬虫一次性抓取网站内容等等。

  robots.txt文件基本介绍

  1. 自定义搜索引擎爬虫

  User-agent: 表示定义哪个搜索引擎,在robots.txt文件的第一行

  User-agent: * 所有蜘蛛

  User-agent: Baiduspider,自定义百度蜘蛛

  User-agent: Googlebot,自定义谷歌蜘蛛

  常见搜索引擎爬虫(蜘蛛)名称:

  百度蜘蛛:Baiduspider

  谷歌蜘蛛:Googlebot

  360蜘蛛:360Spider

  搜狗蜘蛛:Sogou News Spider

  必应蜘蛛:bingbot

  SOSO蜘蛛:Sosospider

  这类自定义蜘蛛的写法可参考淘宝和百度等:https://www.taobao.com/robots.txt,https://www.baidu.com/robots.txt

百度检测ROBOTS协议

  2.禁止访问

  Disallow: 表示禁止访问。

  3.允许访问

  Allow: 表示允许+访问。

  通过以上三个命令,可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面,具体写法请继续浏览!

  robots文件书写注意事项:

  1.robots文件的后缀必须是.txt;

  2.robots文件必须全小写字母命名,并且存放在网站的根目录下面;

  3.在写robots文件的时候,Disallow、Allow、Sitemap等词首字母必须大写,后面的字母则要小写。

  4.特别注意,在书写robots事,应用英文状态下的冒号,并且冒号后面必须有一个英文状态下的空格。

  robots.txt书写注意事项

  robots.txt写法详解

  1.允许所有搜索引擎访问所有目录

  User-agent: *

  Allow: /

  PS:这里的*表示所有。

  2.禁止所有搜索引擎访问所有目录

  User-agent: *

  Disallow: /

  3.禁止爬虫访问网站中的某些目录:

  User-agent: *

  Disallow: /123

  禁止爬虫访问/123开头的所有文件,如https://www.ccxinwei.com/1234/、https://www.ccxinwei.com/123/1.html、https://www.ccxinwei.com/12345/1.html等都不能被抓取

  User-agent: *

  Disallow: /123/

  禁止爬虫访问/123/目录下面的所有文件。

robots协议

  4.禁止爬虫访问某一类文件:

  User-agent: *

  Disallow: /*.css$ 禁止访问所有css结尾的文件

  Disallow: /*.js$ 禁止访问所有js结尾的文件

  Disallow: /*.php$ 禁止访问所有php结尾的文件

  Disallow: /123/*.jpg$ 禁止访问/123/目录下的jpg结尾的文件

  PS:*表示所有,$表示结尾,上面的汉字不用写进robots去!!!

  5.禁止访问网站中的动态页面:

  User-agent: *

  Disallow: /*?*

  Disallow: /123/*?* 禁止访问/123/目录下的动态页面

  PS:?表示动态路径,*表示所有。

  6.禁止访问某些字母开头的目录

  可以巧用这个技巧来隐藏我们网站的一些目录,例如网站后台。假设www.vipshan.com的后台目录是/abcdef/可以这样写:

  User-agent: *

  Disallow: /abc*

  robots.txt禁止爬虫访问

  PS:这样可以就表示所有abc开头的目录都不能访问,所以要注意一下不要禁止了需要被抓取的栏目。

  7.禁止访问和允许访问同时存在的情况

  假设/123/这个栏目下有1.html、2.html、3.html这样三个文件,我要允许访问1.html而其他的要禁止,可以这样写:

  User-agent: *

  Allow: /123/1.html

  Disallow: /123/

百度蜘蛛

  8.自定义搜索引擎:

  用User-agent:来定义搜索引擎,*表示所有

  百度爬虫名字:11Baiduspider

  谷歌爬虫名字:Googlebot(列举两个,其他的名称自己搜下)

  User-agent: Baiduspider表示自定义百度蜘蛛

  User-agent: Googlebot表示自定义谷歌蜘蛛

  这个我就不列举了,大家可以直接参考百度或者淘宝这类大网站的robots的写法就ok了。

  9.最后是网站xml地图

  Sitemap: https://www.ccxinwei.com/sitemap.xml

  推荐相关阅读:长春网站建设的基本步骤有哪些?

  大概我们常用到的长春信维网络都总结到了,希望对大家有所帮助。robots.txt文件写完传到网站根目录之后,大家可以到百度资源平台的robots检测工具去检查一下https://ziyuan.baidu.com/robots,避免把需要被抓取的内容屏蔽了!

  以上就是信维网络为您讲述的robots.txt协议文件的作用及使用方法,希望能够对您有所帮助,感谢您关注我们的网站,后续我们会更新出更多关于SEO和长春网站制作的相关资讯,希望您能持续关注。

相关评论

来自【长春市】的客户

感谢信维网络的技术支持,让我们后台操更方便,五星好评,

来自【德惠市】的用户

高端大气,技术先进,只要会点电脑都可以学会信维的SEO优化课程,非常省心。网页整体效果不错,比较满意,挺细心的,做的快,效率高,专业,贴心

来自【长春经开区】的客户

看了好多家最后决定了信维,网站真的是价格实惠,服务好尤其是服务真的好,不得不夸下客服,特别的耐心,有责任心,很认真的给我讲解每个功能,这样的服务太舒心了,再次感谢技术客服小张~

来自【其塔木】的客户反馈

现在做网站的商家太多了,鱼龙混杂,最终决定了这家因为回答问题给人的感觉很专业,对于我的问题回答都在点上,还能提供一些建议,让我没有后顾之忧,价格也不贵,售前和售后都可以保持一个水准,点赞

相关问答

网站建设的用途是什么?

网站建设可以宣传企业文化的同时树立企业形象,展示企业的业务、产品、价格等,充分利用网站的网络资源,降低宣传企业的广告成本。

网站做了SEO优化有什么好处?

增加网站内页的权重,提升用户体验:站点内链的深度增加,内页的互访性能提升,使网站的流量增多

做一个营销型网站需要多少钱?

营销型网站一般情况价格都会比普通的企业站多一点,它从网络品牌的策划、创建、品牌推广,发展到品牌维护和管理,对网络资源进行分析,所以价格稍贵一些

我的网站有SEO优化,但为什么没有排名

一般情况是问题出在一下几点:关键词定位不准确、网站内容不能满足用户需求、外链与内容量不成正比、网站空间不稳定,这些因素都是影响排名的主要原因

建站流程
  • 网站域名
    挑选
  • 确定网站
    方案
  • 网站样式
    设计
  • 网站程序
    编写
  • 网站内容
    录入
  • 权限交付
    确认
  • 网站交付
    确认
  • 售前咨询:80547336
    售后:18343115558
网站黏度不够?
关键词排名不理想?
找我们就对了!!!

咨询优惠现在网上咨询价值15800定制网站,可享九折优惠
免费一人SEO一对一培训
年底促销前十名填表新用户,下单即送一年空间+域名
24小时免费咨询热线18043760678
合作意向表
您需要的服务
您最关注的地方
预算

直接咨询