10 月 30 日这天,AI 行业的两条新闻凑到了一起。一边是 OpenAI、谷歌、微软和 Anthropic 四家公司联手宣布,支持一套基于 robots.txt 的统一防抓取标准;另一边,OpenAI 同日收紧了 ChatGPT 的安全政策。两件事说的其实是同一件事:跑得太快的行业,开始回头给自己立规矩了。
一句话,管住多家公司
先说抓取标准。这套规则的核心,是一个共享的"策略令牌"信号。网站不用再一家一家写声明,只要在 robots.txt 里表达一次,内容能不能用于 AI 训练,就能同时传达给多家公司。声明的口径是统一的,网站不需要为每家公司各写一套说法。
这解决的是一个很实际的麻烦。过去各家公司的抓取规则各不相同,网站想拒绝 AI 训练,得按每家的要求逐一配置。爬虫叫什么名字、声明写在哪里、按什么格式生效,每家都有自己的讲究。大网站有专人维护这些配置,还能应付;中小网站根本顾不上,漏掉一家,就等于门没关严。统一标准之后,一句话管多家,维护的活一下子轻了不少。
对内容网站来说,这当然是利好。以前是重复劳动加处处留神,现在是一次声明、口径统一,省下来的不只是时间,还有出错的概率。内容行业的版权诉求喊了几年,终于有了一个各家都认的表达方式。
不过也要看清楚这套标准的边界。它是自愿性质的,没有强制力。标准立在那里,各家是不是真照办、照办到什么程度,还得看后续的实际执行。标准本身只是一个表达意愿的工具,真正落地要靠各家的自觉。利好兑现成现实,还需要时间验证,不能只看宣布这一天的热闹。
更值得注意的是表态的阵容。四家公司平时在模型能力上拼得最凶,这次却愿意在同一套规则上签字,说明内容抓取的争议已经大到了谁都绕不开的地步。对网站来说,规则统一本身就是一种减负:不用再研究每家爬虫的脾气,也不用担心换一套规则就漏一家。至于执行,接下来要看的是各家会不会把这套信号真正接进自己的抓取系统,网站的声明能不能在各家的实际行为里得到回音。
同一天的另一套规矩
同一天,OpenAI 宣布的安全政策收紧,针对的是另一类风险。按新政策,未成年人收到的武器相关实用信息会进一步受限;对全体用户,既往大规模袭击细节的回答范围收窄;如果对话中出现暴力执念的迹象,系统可以主动结束对话。从 2027 年初起,OpenAI 还会每半年发布一份社区安全报告,把安全措施的执行情况定期摊出来。报告定期发布,意味着安全措施不再是黑箱,外界有了可以对照的时间线,承诺做没做到,半年就能见分晓。
两件事放在一起,信号很明显。AI 的能力边界还在往外扩,但围绕它的规则也在同步长出来。先把规矩立起来,再看执行——这个顺序,本身就是一种变化。过去是先跑起来再说,现在是边跑边补规则,行业总算开始把"怎么管"和"怎么做"放在同一个时间表上了。当然,立规矩只是第一步。抓取标准要看执行,安全政策要看落地,半年报要看内容。AI 行业过去几年的节奏是先把产品推出来,问题留到后面解决;这一次,规则和产品出现在了同一天,算是个不一样的开始。


