robots.txt是一个位于网站根目录的文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取，哪些页面不应抓取。正确配置有助于保护隐私、节省服务器资源并优化SEO。

基本语法示例：

# 允许所有搜索引擎抓取
User-agent: *
# 禁止抓取管理后台
Disallow: /admin/
# 允许抓取文章目录
Allow: /articles/
# 指定网站地图位置
Sitemap: https://tuyuanma.com/sitemap.xml
# 设置抓取间隔（秒）
Crawl-delay: 10

针对特定搜索引擎的配置示例：

# 对百度爬虫的设置
User-agent: Baiduspider
Disallow: /private/
Allow: /

# 对谷歌爬虫的设置
User-agent: Googlebot
Disallow: /admin/
Allow: /

# 对所有其他搜索引擎的设置
User-agent: *
Disallow: /

了解更多： Google官方文档 | 百度搜索资源平台

更多在线工具尽在 兔源码(tuyuanma.com)