事实证明，告诉人工智能聊天机器人要简洁回复可能会让它产生比平时更多的幻觉。这是总部位于巴黎的人工智能测试公司 Giskard 的一项新研究得出的结论。Giskard 致力于为人工智能模型开发一套整体基准。
该公司的研究人员在一篇详细介绍其研究成果的博客文章中表示，提示用户对问题（尤其是关于模糊主题的问题）给出较短的答案可能会对人工智能模型的真实性产生负面影响。
研究人员写道：“我们的数据显示，系统指令的简单更改会极大地影响模型产生幻觉的倾向。这一发现对部署具有重要意义，因为许多应用程序优先考虑简洁的输出，以减少[数据]使用、改善延迟并最大限度地降低成本。”
幻觉是人工智能中一个棘手的问题。即使是最强大的模型有时也会产生幻觉，这是其概率 性质的一个特征。事实上，像 OpenAI 的 o3 这样的新型推理模型比之前的模型更容易产生幻觉，这使得它们的输出结果难以令人信赖。
Giskard 在其研究中指出，某些提示可能会加剧幻觉，例如要求简短回答的模糊且误导性的问题（例如“简要告诉我日本为何赢得二战”）。包括 OpenAI 的 GPT-4o（ChatGPT 的默认模型）、Mistral Large 和 Anthropic 的 Claude 3.7 Sonnet 在内的领先模型，在被要求简短回答时，其事实准确性都会下降。
为什么？Giskard 推测，当被告知不要详细回答时，模型根本就没有“空间”来承认错误的前提并指出错误。换句话说，强有力的反驳需要更长的解释。
研究人员写道：“当被迫保持简短时，模型总是会选择简洁而不是准确。对开发人员来说，或许最重要的是，像‘简洁’这样看似无害的系统提示，可能会破坏模型揭穿错误信息的能力。”
TechCrunch 会议展览：人工智能预订 TC Sessions: AI 的席位，向 1，200 多位决策者展示您的成果——无需巨额投入。席位有效期至 5 月 9 日，售完即止。
加州伯克利 | 6月5日
立即预订
吉斯卡德的研究还揭示了其他一些令人好奇的现象，例如，当用户自信地提出有争议的观点时，模型不太可能揭穿这些观点的真相；而且，用户声称自己喜欢的模型并不总是最真实的。事实上，OpenAI最近一直在努力寻找一种平衡，既能验证模型的有效性，又不会显得过于阿谀奉承。
研究人员写道：“用户体验的优化有时会以牺牲事实准确性为代价。这在准确性和符合用户期望之间造成了矛盾，尤其是当这些期望包含错误的前提时。”
0 条