RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免

不管你是身处 AI 圈还是其他领域，或多或少的都用过大语言模型（LLM），当大家都在赞叹 LLM 带来的各种变革时，大模型的一些短板逐渐暴露出来。

例如，前段时间，Google DeepMind 发现 LLM 普遍存在「奉承（ sycophantic ）」人类的行为，即有时人类用户的观点客观上不正确，模型也会调整自己的响应来遵循用户的观点。就像下图所展示的，用户告诉模型 1+1=956446，然后模型遵从人类指令，认为这种答案是对的。

实际上，这种现象普遍存在于很多 AI 模型中，原因出在哪里呢？来自 AI 初创公司 Anthropic 的研究者对这一现象进行了分析，他们认为「奉承」是 RLHF 模型的普遍行为，部分原因是人类偏好「奉承」响应导致的。

论文地址：https://arxiv.org/pdf/2310.13548.pdf

接下来我们看看具体的研究过程。

像 GPT-4 等 AI 助手，都是经过训练才能产生比较准确的答案，其中绝大多数用到了 RLHF。使用 RLHF 微调语言模型可以提高模型的输出质量，而这些质量由人类进行评估。然而，有研究认为基于人类偏好判断的训练方式并不可取，模型虽然能产生吸引人类评估者的输出，但实际上是有缺陷或不正确的。与此同时，最近的工作也表明，经过 RLHF 训练的模型往往会提供与用户一致的答案。

为了更好的了解这一现象，该研究首先探索了具有 SOTA 性能的 AI 助手是否在各种现实环境中会提供「奉承」的模型响应，结果发现 5 个经过 RLHF 训练的 SOTA AI 助手在自由格式文本生成任务中出现了一致的「奉承」模式。由于「奉承」似乎是 RLHF 训练模型的普遍行为，因此本文还探讨了人类偏好在此类行为中的作用。

本文还对偏好数据中存在的「奉承」是否会导致 RLHF 模型中的「奉承」进行了探索，发现更多的优化会增加某些形式的「奉承」，但会减少其他形式的「奉承」。

大模型的「奉承」程度及影响

为了评估大模型的「奉承」程度，并分析对现实生成有何影响，该研究对 Anthropic、OpenAI 和 Meta 发布的大模型的「奉承」程度进行了基准测试。

具体来说，该研究提出了 SycophancyEval 评估基准。SycophancyEval 对现有大模型「奉承」评估基准进行了扩展。模型方面，该研究具体测试了 5 个模型，包括：claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023)、llama-2-70b-chat (Touvron et al., 2023)。