robots.txt是什么？怎么运用

作为一个网站建设加优化的公司，是必须要回的就是robots.txt文件，所以我们就来看看这个文件的意思
robots.txt是一个纯文本文件，用于声明该网站中不想被蜘蛛访问的部分，或者指定蜘蛛抓取的部分。不是规定，而是一种约定，需要蜘蛛自觉遵守的一种习俗
当蜘蛛访问一个站点时，它会首先检查该站点是否存在robots.txt
如果找到，蜘蛛就会按照该文件中的内容来确定抓取的范围
如果该文件不存在，那么蜘蛛就沿着链接直接抓取
robots.txt的作用
1、防止私密或重要内容被搜索引擎抓取
2、节省服务器资源，从而提高服务质量
3、减少重复抓取，提高网站质量
4、指定sitemap文件位置
user-agent: *
针对哪个搜索引擎蜘蛛
这里的*代表搜索引擎种类，*是通配符
allow
定义的是允许蜘蛛抓取某个栏目或文件
allow: /cgi-bin/
这里定义是允许访问cgi-bin目录
allow:/* .htm$
允许访问以.htm为后缀的url
$指的是匹配行结束符
*指的是匹配任何字符
disallow
定义的是禁止蜘蛛抓取某个栏目或文件
disallow: /admin/
这里定义是禁止抓取admin目录
disallow: /cgi-bin/*.htm
禁止抓取/cgi-bin/目录下的所有以.htm为后缀的url
disallow: /*?*
禁止抓取网站中所有包含问号 “?”的网址
用法：sitemap:http://www.google.com/sitemap.xml
sitemap：url全称（包含http://部分）
告诉搜索引擎蜘蛛这个页面是网站地图
robots.txt文件主要是限制整个站点或者目录的蜘蛛访问情况，而robots meta标签则主要是针对某个具体的页面


研究表明公共云计算领先厂商全力提升市场份额
企业如何选择最优的推广方式？
网站落地页设计技巧
网页设计—全屏滚动效果
个人建站一定要学网站建设教程？掌握这四点流量成倍增！
网站制作前期准备工作
如何自学做好网页设计
新闻动态网页渲染的基本过程