robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。今天合肥网站优化小编来跟大家具体介绍，robots.txt。
　　第一：什么是robots.txt?
　　这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。
　　第二：robots.txt有什么用
　　为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。说到底了，这些页面或文件被搜索引擎收录了，用户也看不了，多数需要口令才能进入或是数据文件。既然这样，又让搜索机器人爬行的话，就浪费了服务器资源，增加了服务器的压力，因此我们可以用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验。
　　1，用robots屏蔽网站重复页
　　很多网站一个内容提供多种浏览版本，虽然很方便用户却对蜘蛛造成了困难，因为它分不清那个是主，那个是次，一旦让它认为你在恶意重复，你就惨了
　　User-agent： *
　　Disallow： /sitemap/ （禁止蜘蛛抓取 文本网页）
　　2，用robots保护网站安全
　　很多人纳闷了，robots怎么还和网站安全有关系了？其实关系还很大，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标
　　User-agent： *
　　Disallow： /admin/ （禁止蜘蛛抓取admin目录下所有文件）
　　3，防止盗链
　　一般盗链也就几个人，可是一旦被搜索引擎“盗链”那家伙你100M宽带也吃不消，如果你做的不是图片网站，又不想被搜索引擎“盗链”你的网站图片
　　User-agent： *
　　Disallow： .jpg$
　　4，提交网站地图
　　现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的
　　5，禁止某二级域名的抓取
　　一些网站会对VIP会员提供一些特殊服务，却又不想这个服务被搜索引擎检索到
　　User-agent： *
　　Disallow： /
　　以上就是合肥网站优化小编整理的内容，更多相关资讯欢迎访问http://www.zosyo.com/

>> 相关文章：

·网站制作中容易被忽视的因素和一些误解
·如何选择好的安徽安徽网站建设网站？
·合肥网站建设对企业优化网站有什么作用
·网站建设的方式有哪些?
·安徽网站制作单页面网站SEO需要注意哪些问题
·对分析网站排名后仍然没有转化率的问题
·网站选择关键词的4个注意事项
·合肥网站建设怎样优化网站才能让网站快速打开
·安徽合肥网络公司在站点打开速度很慢是如何处理
·关于合肥网站建设过程中的一些改进细节问题
·如何规划网站SEO的内容？我们需要注意哪些事项？
·安徽合肥网络公司做网站的基本要素
·安徽网站优化如何把网站推广达到良好效果
·网络推广营销的核心任务是做好产品定位
·在企业网站建设中提高网站对比度的方法有哪些？
·合肥seo优化公司的站点结构设计对SEO有什么影响？
·安徽合肥网络公司如何解决网站404页面
·长期不更新对网站优化的影响
·合肥网站制作公司如何用常用的方法维护企业官网
·提高网站的用户忠诚度，可以尝试从客户体验结果来衡量
·网页设计重要的设计元素是什么？
·安徽网站优化建议关键词词库的好处有哪些
·安徽网站优化公司怎样利用直播功能来提升品牌曝光率
·移动网站优化应注意的6个问题？
·合肥网站优化未来网站发展方向
·安徽网站制作费用受到哪些因素的影响
·通过发散思维提高网络推广营销效率
·企业网站建设的过程是什么？
·花店网站制作如何打动用户的心？
·新网站如何做好站内优化？
·如何选择适合安徽网站建设公司
·合肥网站建设公司在新网站建设方面怎样做SEO配置
·如何定义网站建设的风格？
·如何进行网站建设？
·如何建立企业官网，需要哪些主要流程？
·如何解决网站优化中不包括新站的问题？
·新建的企业网站如何提升网站SEO效果?
·制作网站必须做好哪些方面？
·网站设计的最终目的是更好地吸引用户
·如何使你的网络推广达到大的性价比？
·合肥seo优化怎样才能在网络时代赢得更多的顾客
·合肥网站优化怎样检查自己的网站是否被搜索引擎降级
·网上商城建设找什么样的安徽网站制作公司好
·网站SEO导致不良影响的行为有哪些？
·安徽网站建设如何打造一家合格的电商网站
·安徽网站制作公司在企业如何进行有效的网络推广
·选择网站制作公司要看哪些要点？
·为什么合肥网站建设价格差别这么大？
·安徽网站优化内页排名高的原因是什么？
·合肥seo优化六大的基本方法和技巧
·安徽合肥网络公司如何给新成立网站做好SEO推广
·营销网站建设有哪些特点？
·合肥网站优化的常规方法有哪些
·网页设计分为站设计应该注意什么？
·安徽合肥网络公司网站建设的主要流程是什么
·安徽seo优化公司如何做好SEO提高网站排名的工作
·不利于网站seo优化的误区是什么
·合肥SEO优化所需的思维、技巧和策略
·安徽网站制作如何实现网站的全面定制？
·网站建设细节决定成败
·了解网络，分析网站地图的功能
·安徽网站制作如何设计展示网站更具吸引力和质量
·企业网络建设过程中需要考虑的几个问题
·合肥网站制作如何做前期沟通？
·合肥网站制作为什么在公司营销网站的制作要用自适应网站设计？
·什么因素决定了安徽中小企业网站建设的成本？
·什么是站内优化和站外优化？解析站内优化和站外优化的含义。
·安徽网站制作如何布局公司网站建设有利于SEO推广？
·做定制网站的企业网站有什么好处？
·合肥seo优化如何优化关键词排名？要有这些常识！
·安徽网站制作如何评价网站建设的质量效果？
·安徽合肥网络公司稳步提高网站流量的引流策略
·安徽seo优化排列时选择关键词的方法是什么？
·安徽合肥网络公司应该选择什么样的网站空间
·企业网站建设应选择哪种类型的空间需要注意以下几点
·安徽网站制作需要使用哪些软件？
·如何避免网站过渡优化导致网站降权
·合肥网站优化百度不收录的原因分析
·在做合肥网站优化的过程中，如何解决网站快照回档的难题？
·如何使合肥seo优化提高长期有效的关键词稳定性排序方法？
·在网站优化过程中保持长期良性的改进方法是很重要的
·合肥网站建设中应注意的事项和处理思路
·安徽SEO优化给企业网站做好优化工作
·安徽seo优化公司：seo优化不同网站
·企业新建网站如何做好网站SEO技巧？
·合肥网站制作如何实现企业的营销效益
·合肥网站优化如何提高和提高百度收录
·如何把网站改版的SEO损失减低?
·合肥网站优化的主要内容和作用
·安徽网站优化谈深入解读SEO资源的重要性
·网络营销中如何做好全站优化
·网站排名突然消失的原因是什么，如何解决？
·好设计+好技术会有好的网站建设
·安徽网站建设公司哪家好?做网站找什么样的公司好
·合肥高端网站建设公司，高端网站页面设计怎么做？
·安徽网站优化手机端的优化技巧