可以理解的是，网站现在开始进行反击，担心这些“入侵物种”（AI 爬虫）会取代它们。但问题在于，这种抵制行为也在威胁着互联网的透明性和开放性，而这些特性正是非 AI 应用蓬勃发展的基础。

拿 Anthropic 距离，一些热门网站例如路透社等在 robot.txt 中组织了“ANTHROPIC-AI”和“CLAUDE-WEB”两个爬虫，他们曾由 Anthropic 的 Claude AI 聊天机器人使用 ...

在这两个新的免费功能之外，网站管理员也可通过既有的Web Application Firewall（WAF）功能，更精细地控制所要允许或封锁的爬虫。 Cloudflare指出 ...