MP-003 · 随笔

当 Policy 成为产品的一部分:AI 记住了哪个版本的你?

2026-07-08

Anthropic 的 Usage Policy 写得很清楚:Safeguards Team 会通过检测和监控执行平台规则。平台一旦认定用户违规,可以限流、暂停乃至终止访问,也可以在输入触碰规则时阻断或修改模型输出。Claude 的帮助文档还提到,安全流程会在用户的 prompts 被判定违反 Usage Policy 时发出警告。API 客户收到的警告,则会计入账户层面的持续违规阈值。

机制是公开的,判定过程却不是。

用户在产品里看不到一条清楚的边界线,只能遇到一连串不稳定的结果:同类问题有时能问,有时被拒绝;有时答案遭到过滤,有时账户突然收到警告。系统究竟在审查输入、输出、上下文、模型的生成方向,还是账户风险,用户很难分辨。

Claude 的帮助文档也承认,部分用户会遇到“Output blocked by content filtering policy”之类的错误。在某些场景中,这并不是 Anthropic 对内容正当性的判断,而可能是防止模型复现既有材料的工具在起作用。可站在用户这边,困惑并没有因此减少:眼前的阻断究竟源于内容、版权、误伤,还是更宽泛的安全判定,产品现场通常不会说清楚。

AI 产品当然需要安全规则,尤其涉及未成年人、自伤、违法活动、诈骗、恶意代码和隐私侵犯时。麻烦在于,边界同时由分类器、动态政策、模型拒绝、输出过滤和账户警告来执行,而这些机制对用户并不透明。一次回答失败也就不再只是偶发故障,它背后还有一套可能影响账户的判定系统。

用户会因此改变表达方式。

他们在开口前开始自我审查,并非认同平台的判断,而是不知道反驳会带来什么后果。收到一次警告后,下一次输入自然会谨慎:直接的问题改得更抽象,真实意图拆成几个看似无害的片段,带着锋芒的判断也换成温和措辞。此时用户已经不再自然表达,而是在猜系统会怎样理解自己。

这种预判很快会进入日常语言。某些词不再使用,取而代之的是更安全、更学术或更产品化的说法;具体对象变成宽泛类别,明确目的被包装成“研究”“分析”或“探索”,真正的问题外面再套一层不容易触发系统的壳。

表面上,这只是用户适应平台规则。可它带来的结果是,输入不再稳定反映用户本人,而更像一份“我认为自己在这里还敢说什么”的记录。

这一点很要紧。对话式 AI 会根据长期互动推断用户的偏好、能力边界、价值排序和行动意图。如果用户长期因为平台压力而漂白表达,模型拿到的样本从一开始就是变形的。

它会把“这里从未出现”理解成“用户不关心”,把“用户没有直说”理解成“用户不愿意”,再把一贯温和抽象的措辞理解成用户原本就偏爱温和抽象的路径。

这就是画像污染。

它比单次拒绝更隐蔽。拒绝至少会明确告诉用户,这次任务没有执行;画像污染不会弹窗,只会慢慢改变模型后续的建议。开放性问题里,某些选项出现得更少,某些方向不再展开,用户原本的野心、尺度、欲望、锋利度和风险承受能力也逐渐从回答中退场。

模型不会说“你不能做这个”。它会说:“从你的长期偏好看,这可能不是你真正想做的。”

可如果所谓长期偏好只是被平台规则筛过的残余样本,这种理解从根上就不可靠。

因此,输出是否中立并不是悬在空中的伦理争论,而是具体的产品问题。基础模型开发者通过 acceptable use policies 划定用途,相关研究也指出,这类政策由开发者决定什么可以接受,执行过程却常常缺少透明度。关于 LLM 内容治理的研究还提醒,模型控制并不总以拒绝出现。省略、弱化、调整重点和改变叙述框架,同样可以干预用户,只是比直接拒绝更难察觉。

当模型说“这个方向可能不适合你”“你的表达更适合另一条路”“从过往偏好看,你似乎更重视某种价值”,它未必只是在理解用户。平台规则造成的沉默,可能被它认成了人格特征;用户为了避开系统采用的表达策略,也可能被认成审美、道德或商业判断。

更麻烦的是,这种干预通常看起来不像干预。它没有硬拒绝那么醒目,也不带刺眼的警告牌,而是用体贴、稳妥、专业和负责的语气出现。它减少冲突,替用户把话说得更体面,再把问题引向平台更容易接受的位置。用户甚至会觉得模型很懂自己,因为整个过程顺滑、温柔,也讲得通。

正是这种合理感,让偏移难以察觉。

搜索引擎漏掉一条结果,用户至少知道眼前只是一个列表,还可以换关键词或寻找其他来源。对话式 AI 给出单一的综合回答时,人更容易把它当成“理解之后的结论”。即使回答省略了某些路径、弱化了某些判断,或者已经被安全系统调整了语气和价值排序,用户也未必知道缺了什么。

相关研究将软性审查和框架效应视为尤其难检测的问题,原因也在这里:它们并非拒绝回答,而是在一份看似完整的回答里改变重点和解释方式。

所以,这篇文章关心的并不只是“平台不让我说什么”。那个问题太窄,也容易把讨论困在单次审查上。更长的链条是这样的:平台规则促使用户在开口前删改自己,删改后的输入污染用户画像,模型再依据这份画像给出建议,反过来影响用户的判断、价值观和行动选择。

单次审查只落在某个问题上,用户还可以绕开、放弃或换工具。画像污染发生在长期关系里。用户越依赖一个模型思考,越希望它“懂自己”,就越难发现这份理解已经偏了。

模型逐渐成了用户的镜子。可镜面经过平台规则打磨后,照出来的不再只是用户本人,而是一个更安全、更体面、风险更低,也更容易被系统接受的版本。

好的边界会告诉用户门在哪里。差劲的边界会让用户站到门前时,先怀疑自己为什么想进去。

《Claude 味》讨论输出怎样被软化,《温柔的牧羊犬》讨论已经说出口的话怎样被重新命名。这一篇把时间再往前推了一步:用户还没有开口,就开始把自己翻译成平台更容易接受的样子。

安全机制先改变输入,变形的输入再影响模型对用户的理解。最终,这份误读会被包装成建议、陪伴和个性化,重新送回用户面前。