首页
资讯中心
行业新闻
人们对生成式AI最大的误解是，认为AI生成的内容全是对的，不理解AI幻觉。

人们对生成式AI最大的误解是，认为AI生成的内容全是对的，不理解AI幻觉。

行业新闻|Industry News|

2025-04-01 00:44:38 513

一、AI也会“一本正经的胡说八道”

1、跟人一样，“一本正经地胡说八道”是AI的最显著特征，产业界称他为AI幻觉，不能认知到AI幻觉对人影响非常大的，把错的认为是对的，把不存在的认为是存在的，你说害处有多大。
2、比如“谁赢得了1897年美国和南极洲之间的战斗？”即使没有这样的战斗，AI聊天机器人也可能会提供一个虚构的答案，例如“1897年的战斗是由美国赢得的，约翰·多伊将军带领部队取得了胜利。”这种AI编造信息“一本正经地胡说八道”的情况屡见不鲜。

二、AI幻觉具有普遍性。

1、去年2月，谷歌发布的AI聊天机器人Bard在视频中，对詹姆斯·韦布空间望远镜曾做出不真实陈述；3月，美国的两名律师向当地法院提交了一份用ChatGPT生成的法律文书，这份文书格式工整、论证严密，但其中的案例却是虚假的……

2、OpenAI研究人员虽曾在去年6月初发布报告称“找到了解决AI幻觉的办法”，但也承认，“即使是最先进的AI模型也容易生成谎言，它们在不确定的时刻会表现出捏造事实的倾向。”

三、AI幻觉源自AI本身

1、但受限于模型原理，如数据压缩与重构的固有缺陷。

2、从技术原理上看，AI幻觉多由于AI对知识的记忆不足、理解能力不足、训练方式固有的弊端及模型本身技术的局限性导致。

四、AI幻觉尚难消除，只能抑制

尽管AI幻觉短期内难以完全消除，但业界正试图通过技术改进和监管评估来缓解其影响，以保障人工智能技术的安全可靠应用。

1、训练上，高质量数据和训练方法

在预训练方面，需增加知识密集的数据、高质量数据的选取和过滤；微调强化学习过程中，选择模型知识边界内的训练数据极为重要；

2、推理上，引入检索增强生成（RAG）知识库，知识图谱，推理生成过程中，可以采用检索外部知识的办法使得模型生成结果有证据可循。

3、人工审核与交叉验证

对AI生成的关键信息（如数据、案例）通过搜索引擎或多源比对确认。

4、结合专业工具

使用内置事实核查功能的AI工具，AI进行交叉验证。

5、明确指令与场景限制

通过细化提示词、提供上下文约束AI输出范围。

6、保持技术理性

将AI定位为辅助工具，而非决策主体，尤其在医疗、法律等高风险领域。

五、如何正确应对AI幻觉？

AI的“幻觉”既是技术瓶颈，也是人类认知与机器交互的一面镜子。理解其本质并建立合理使用习惯，才能最大化发挥AI价值，规避潜在风险。