robots的写法,及作用
发布时间：2025-10-12 点击：4
robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。主要作用是让搜索引擎抓取什么，不让搜索引擎抓取什么
一、robots.txt 的写法：
1. user-agent: *
意思是允许所有搜索引擎收录，星号代表所有。
2. disallow:/
意思是禁止搜索引擎收录页面。
3. 禁止所有搜索引擎访问网站的所有部分
user-agent: *
disallow: /
4. 禁止百度索引你的网站
user-agent: baiduspider
disallow: /
5. 禁止google索引你的网站
user-agent: googlebot
disallow: /
6. 禁止除google外的一切搜索引擎索引你的网站
user-agent: googlebot
disallow:
user-agent: *
disallow: /
7. 禁止除百度外的一切搜索引擎索引你的网站
user-agent: baiduspider
disallow:
user-agent: *
disallow: /
8. 禁止蜘蛛访问某个目录
（例如禁止admincssimages被索引）
user-agent: *
disallow: /css/
disallow: /admin/
disallow: /images/
9. 允许访问某个目录中的某些特定网址
user-agent: *
allow: /css/my
allow: /admin/html
allow: /images/index
disallow: /css/
disallow: /admin/
disallow: /images/
在seo优化过程中，对于蜘蛛的了解和控制至关重要，关于robot.txt的写法还有很多，希望以上这些对大家有帮助。
二、robots.txt 注意事项：
1. 如果你希望搜索引擎收录网站上所有的内容，那么就不要建立robots.txt文件。
2. 如果同时存在动态和静态链接，那么建议屏蔽动态链接。
3. robots.txt只能是屏蔽站内文件的，对站外文件没有屏蔽功能。
4. user-agent，allow，disallow，sitemap的首字母都是大写的。
5. user-agent，allow，disallow，sitemap的冒号后面都是有空格的，没有写空格直接写接下来的内容会出错。
6. 网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比，标题和内容上相同的，而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢，这样就会造成内链之间相互竞争，造成内部资源损耗。
7. 建议屏蔽js文件。disallow: /*.js$，以 .js 结尾的路径统统被屏蔽，这样就屏蔽了js文件。
8. 路径是区分大小写的。disallow: /ab/ 和 disallow: /ab/ 是不一样的。
9. robots.txt会暴露网站相关目录，写robots.txt时要考虑到这一点。
10. 有些seo会将文件直接备份在服务器中，文件是 .zip 格式，然后在robots.txt中屏蔽。个人不建议这样，这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。
11.必须命名为：robots.txt都是小写，robot后面加s。
如何制作网络视频
百度搜索引擎排名优化有哪些新规则
纯文本对网站优化的排名
面对安全联盟的搜索结果拦截，我们该如何面对？
APP开发有哪些缺点，为什么很多人选择小程序开发？
哪些优化技巧可以提升网站打开速度-网站建设
对网络外链进行推广有用吗
网站建设中重要的标签规范有哪些需要了解的
一、robots.txt 的写法：
1. user-agent: *
意思是允许所有搜索引擎收录，星号代表所有。
2. disallow:/
意思是禁止搜索引擎收录页面。
3. 禁止所有搜索引擎访问网站的所有部分
user-agent: *
disallow: /
4. 禁止百度索引你的网站
user-agent: baiduspider
disallow: /
5. 禁止google索引你的网站
user-agent: googlebot
disallow: /
6. 禁止除google外的一切搜索引擎索引你的网站
user-agent: googlebot
disallow:
user-agent: *
disallow: /
7. 禁止除百度外的一切搜索引擎索引你的网站
user-agent: baiduspider
disallow:
user-agent: *
disallow: /
8. 禁止蜘蛛访问某个目录
（例如禁止admincssimages被索引）
user-agent: *
disallow: /css/
disallow: /admin/
disallow: /images/
9. 允许访问某个目录中的某些特定网址
user-agent: *
allow: /css/my
allow: /admin/html
allow: /images/index
disallow: /css/
disallow: /admin/
disallow: /images/
在seo优化过程中，对于蜘蛛的了解和控制至关重要，关于robot.txt的写法还有很多，希望以上这些对大家有帮助。
二、robots.txt 注意事项：
1. 如果你希望搜索引擎收录网站上所有的内容，那么就不要建立robots.txt文件。
2. 如果同时存在动态和静态链接，那么建议屏蔽动态链接。
3. robots.txt只能是屏蔽站内文件的，对站外文件没有屏蔽功能。
4. user-agent，allow，disallow，sitemap的首字母都是大写的。
5. user-agent，allow，disallow，sitemap的冒号后面都是有空格的，没有写空格直接写接下来的内容会出错。
6. 网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比，标题和内容上相同的，而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢，这样就会造成内链之间相互竞争，造成内部资源损耗。
7. 建议屏蔽js文件。disallow: /*.js$，以 .js 结尾的路径统统被屏蔽，这样就屏蔽了js文件。
8. 路径是区分大小写的。disallow: /ab/ 和 disallow: /ab/ 是不一样的。
9. robots.txt会暴露网站相关目录，写robots.txt时要考虑到这一点。
10. 有些seo会将文件直接备份在服务器中，文件是 .zip 格式，然后在robots.txt中屏蔽。个人不建议这样，这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。
11.必须命名为：robots.txt都是小写，robot后面加s。
如何制作网络视频
百度搜索引擎排名优化有哪些新规则
纯文本对网站优化的排名
面对安全联盟的搜索结果拦截，我们该如何面对？
APP开发有哪些缺点，为什么很多人选择小程序开发？
哪些优化技巧可以提升网站打开速度-网站建设
对网络外链进行推广有用吗
网站建设中重要的标签规范有哪些需要了解的