文章来源:放心AI网发布时间:2025-04-27 15:50:50
近日,Vectara 的机器学习团队对 DeepSeek 系列的两款模型进行了深入的幻觉测试,结果显示,DeepSeek-R1的幻觉率高达14.3%,显著高于其前身 DeepSeek-V3的3.9%。这表明,在增强推理的过程中,DeepSeek-R1产生了更多不准确或与原始信息不一致的内容。该结果引发了对推理增强大语言模型(LLM)产生幻觉率的广泛讨论。
图源备注:图片由AI生成,图片授权服务商Midjourney
研究团队指出,推理增强模型可能会比普通的大语言模型更容易产生幻觉。这一现象在 DeepSeek 系列与其他推理增强模型的比较中表现得尤为明显。以 GPT 系列为例,推理增强的 GPT-o1与普通版 GPT-4o 之间的幻觉率差异,也验证了这一推测。
为了评估这两款模型的表现,研究人员使用了 Vectara 的 HHEM 模型和 Google 的 FACTS 方法进行判断。HHEM 作为专门的幻觉检测工具,在捕捉 DeepSeek-R1的幻觉率增加时表现出较高的灵敏度,而 FACTS 模型在这方面的表现则相对逊色。这提示我们,可能 HHEM 比 LLM 作为标准更加有效。
值得注意的是,DeepSeek-R1尽管在推理能力上表现出色,但却伴随着更高的幻觉率。这可能与推理增强模型所需处理的复杂逻辑有关。随着模型推理的复杂性增加,生成内容的准确性反而可能受到影响。研究团队还强调,若 DeepSeek 在训练阶段能够更关注减少幻觉问题,或许能实现推理能力与准确性之间的良好平衡。
虽然推理增强模型通常表现出更高的幻觉率,但这并不意味着它们在其他方面不具优势。对于 DeepSeek 系列来说,仍需在后续的研究和优化中,解决幻觉问题以提升整体模型性能。
参考资料:https://www.vectara.com/blog/deepseek-r1-hallucinates-more-than-deepseek-v3
相关攻略 更多
最新资讯 更多
淘天推出创新对齐方法,解决视觉大模型中的幻觉问题
更新时间:2025-05-06
OpenAI几周内发布o3-mini,性能略逊于o1-pro
更新时间:2025-05-06
Runway推全新AI图像生成器Frames,打造电影级视觉表现
更新时间:2025-05-06
微软推出WindowsAI搜索功能测试,提升文件查找体验
更新时间:2025-05-06
OpenAI专家:社交媒体上的AI炒作远比你想象的复杂!
更新时间:2025-05-06
AI始祖重生:世界首个聊天机器人ELIZA在60年后重获新生
更新时间:2025-05-06
大型出版公司Dotdash与OpenAI达成合作,裁员百余人
更新时间:2025-05-06
阶跃星辰上线Step-2mini、Step-2文学大师版语言模型
更新时间:2025-05-06
MiniMax海螺语音全球同步上线包含T2A-01-Turbo等模型
更新时间:2025-05-06
MIT、DeepMind研究揭示视觉语言模型无法理解否定表达的原因
更新时间:2025-05-06