robots.txt 示例公开列出敏感路径,并可能被误当作访问控制
原文依据:2 处示例把 `/admin/`、`/api/` 和 `/private/` 称为应“阻止”的管理或私有区域。robots.txt 是公开的爬虫提示,不会阻止浏览器、攻击者或不守规则的机器人访问这些地址;列出它们还会帮助外部人员发现路径。
如果用户复制该配置并依赖它保护内容,管理接口、API 或私有页面仍可能被直接访问,同时合法搜索爬虫会停止抓取这些路径。
这是“Crawlability”章节中的配置示例,不是实际访问控制代码;但它明确把管理、API 和私有路径逐一写入公开的 robots.txt。只有遵守 robots.txt 的爬虫会据此停止抓取,浏览器和恶意访问者不会被阻止,因此照抄可能暴露路径名称并造成已有保护的错觉。用户可要求作者明确说明这些路径仍须身份验证和服务器端授权,并避免列出不必公开的敏感路径。
```text# /robots.txtUser-agent: *Allow: /# Block admin/private areasDisallow: /admin/Disallow: /api/Disallow: /private/查看另外 1 个位置
**robots.txt:**```text# /robots.txtUser-agent: *Allow: /# Block admin/private areasDisallow: /admin/Disallow: /api/Disallow: /private/