Search Engine Journal· Matt G. Southern·· 5 小时前行业重要性18
Google 的 Illyes：robots.txt 只管抓取，不管 AI 训练
Google’s Illyes: Robots.txt Covers Crawling, Not AI Training
AI 导读
Google 的 Gary Illyes 在 Search Central 视频中表示，按 RFC 9309 定义，robots.txt 是访问偏好协议，只规定爬虫可请求哪些 URL，不决定内容被抓取后的用途。
来源类别：国际媒体或研究机构。来源类别与声明证据等级分别判断。请核对原文的适用范围和统计口径。
研究空间
团队成员登录后可保存；个人笔记仅本人可见，研究记录可主动选择团队共享。
来源：Search Engine Journal · searchenginejournal.com