robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。今天合肥网站优化小编来跟大家具体介绍，robots.txt。
第一：什么是robots.txt?
这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。
第二：robots.txt有什么用
为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。说到底了，这些页面或文件被搜索引擎收录了，用户也看不了，多数需要口令才能进入或是数据文件。既然这样，又让搜索机器人爬行的话，就浪费了服务器资源，增加了服务器的压力，因此我们可以用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验。
1，用robots屏蔽网站重复页
很多网站一个内容提供多种浏览版本，虽然很方便用户却对蜘蛛造成了困难，因为它分不清那个是主，那个是次，一旦让它认为你在恶意重复，你就惨了
User-agent： *
Disallow： /sitemap/ （禁止蜘蛛抓取 文本网页）
2，用robots保护网站安全
很多人纳闷了，robots怎么还和网站安全有关系了？其实关系还很大，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标
User-agent： *
Disallow： /admin/ （禁止蜘蛛抓取admin目录下所有文件）
3，防止盗链
一般盗链也就几个人，可是一旦被搜索引擎“盗链”那家伙你100M宽带也吃不消，如果你做的不是图片网站，又不想被搜索引擎“盗链”你的网站图片
User-agent： *
Disallow： .jpg$
4，提交网站地图
现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的
5，禁止某二级域名的抓取
一些网站会对VIP会员提供一些特殊服务，却又不想这个服务被搜索引擎检索到
User-agent： *
Disallow： /
以上就是合肥网站优化小编整理的内容，更多相关资讯欢迎访问http://www.zosyo.com/
>> 相关文章：
·合肥企业为什么要做网站设计呢？·分析自适应合肥网站建设和营销网站制作各自的特点和用途
·如何设计营销企业网站建设？
·安徽网站优化好的网页标题怎么写
·网站建设有什么好处？
·网站不包括的主要原因是什么？
·安徽网站优化影响搜索引擎收录的因素有哪些
·合肥网站建设公司对教育类的官网应该怎样建设？
·安徽网站制作网站如何选择主机空间，这些事项要注意！
·合肥网站建设的关键点
·新网站如何做好站内优化？
·企业营销型网站建设的基本要素都有哪些?
·安徽seo优化公司教新手必须掌握网站优化的技巧
·安徽seo优化利用搜索结果页的SEO属于打击行为
·合肥网站优化，如何做好合肥SEO呢？
·安徽网站制作营销网站需要注意哪些因素？
·合肥网站制作公司那么多，怎样才能找到靠谱的公司呢？
·安徽网站建设的基本要素
·如何通过高效SEO战略在短期内超越竞争
·你对用户体验了解多少？
·建设营销型外贸网站有哪些雷区值得关注？
·合肥网站优化公司的网络推广有哪些比较有用的方法
·合肥网站建设从哪些方面诊断分析网站，给出合理的seo方案？
·安徽合肥网络公司的网站建设改版对企业有什么好处
·合肥网站优化的几个误区
·【抖音推广】针对分析网站有排名后仍然没有转化率的问题
·安徽seo优化文章中有违禁广告词是否被收录
·零基础网站建设入门教程有哪些步骤？
·安徽网站优化推广的方法有哪些？
·【网站建设】网站建设关键词的重要性
·如何确定哪些关键词来优化网站？
·【网站推广】网站推广中添加图片有什么好处？
·为何SEO排名周期和效果都很慢？
·如何在网站制作中选择网站关键词？
·企业网站推广建议
·合肥网站优化公司如何在建站时增加百度收录？
·合肥网站建设可能是什么原因导致网页打开缓慢
·安徽SEO优化需要掌握哪些技巧
·网站的制作和维护有哪些流程和措施
·什么样的安徽网站建设被认为是高质量
·网络运营必看的实用合肥seo优化技巧
·安徽合肥网络公司的主要标准是什么？
·合肥网站制作流程的步骤是什么？
·网站建设对企业有什么好处？
·合肥网站优化如何对上市公司网站进行SEO排名
·安徽合肥网络公司在装饰公司网站建设有哪些注意事项？
·安徽合肥网络公司如何做好整站优化
·网站自然优化需要注意哪些问题？
·安徽网站建设为什么要用自适应网站设计？
·安徽网站制作赢在细节上
·什么样的网页是用户体验好的？
·网站建设页面加载时间如何检测？
·为什么网站SEO优化后没有流量？
·网站SEO优化有哪些实用技巧？