拿 Anthropic 距离，一些热门网站例如路透社等在 robot.txt 中组织了“ANTHROPIC-AI”和“CLAUDE-WEB”两个爬虫，他们曾由 Anthropic 的 Claude AI 聊天机器人使用 ...

在这两个新的免费功能之外，网站管理员也可通过既有的Web Application Firewall（WAF）功能，更精细地控制所要允许或封锁的爬虫。 Cloudflare指出 ...