北京时间6月1日凌晨，ChatGPT开发商OpenAI在其官网发布一篇重磅论文， 其中的研究内容很可能会彻底解决AI“胡说八道”的问题。
【资料图】
图注：后台回复：AI幻觉，领取中英文论文
即使ChatGPT这类人工智能工具的表现已经足够惊艳，但他们依然会在某些情况下完全捏造信息，这被称为AI“幻觉”（或者被我们俗称为“胡说八道”）。 这些虚假信息可能会非常自然地隐藏在一些真实信息中， 这让使用人员辨别起来更加困难。OpenAI在论文开头便承认了这种现象的存在， 称即使最先进的模型也会经常产生逻辑错误。
为了对抗AI“幻觉”，OpenAI的研究人员在这篇论文中阐述了一种新的方法，即改变之前，在AI完全推理出最终答案后再给予奖励的方法，而不是在AI模型推理出答案的每个正确步骤上给予奖励。这个方法被总结为“过程监督”，与之相反的是“结果监督”。
简而言之， 这个方法很类似于人力资源领域早已推广的KPI绩效管理法， 即在每个关键节点进行考核或激励，而不是等到项目或工作完全结束之后。
通过OpenAI工程师对过程监督的实验，他们至少获得了这些成果：
1.相对于结果监督，过程监督获得了更可靠的奖励模型；
2.大型奖励模型接近人类对较小奖励模型的监督效果，并且可以用来有效地进行大规模的数据收集消融；
3.主动学习使过程监督的数据效率提高了2.6倍。
总之，这种方法能够训练出更好的AI，因为这种策略鼓励模型按照更类似人类的“思考”方式进行推理。
AI的“幻觉”问题已经困扰行业很久，并且可能是阻碍AI落地的最大障碍。
OpenA研究员卡尔·科布此前接受采访时曾表示：“检测和减轻一个模型的逻辑错误或幻觉，是构建一致性通用人工智能的关键步骤。”
OpenAI以外的其他科技公司也在不断尝试解决这个问题。如英伟达在4月25日宣布将开源他们的一款名为NeMo Guardrails的软件，借此来防止AI大模型出现\"幻觉\"。
英伟达的方案更像是给AI装上了“围栏”。借助NeMo Guardrails，开发者可以搭建三种边界：分别是主题护栏、功能安全护栏、信息安全护栏，它可以阻止AI模型说错误的话、讨论有害的话题、或是打开漏洞软件。
图注：NeMo Guardrails为AI建立“护栏”
更早的时候，马斯克曾大力批评ChatGPT，主要矛头便是因“幻想”问题生成的虚假内容。马斯克甚至声称要开发一个自己的“真实GPT”。
随着这篇OpenAI论文的发布，AI的可信度将大大提升，阻碍ChatGPT这类聊天AI的障碍又少了一个。从ChatGPT发布到如今解决“幻想”问题，中间只用了短短几个月时间，AI的上限在哪儿？
作者：鹤山 排版：骆伟玲
图片源于Q仔互联网冲浪所得，若有侵权，后台联系，Q仔滑跪删除~
关键词：
您可能也喜欢这些文章
