首页 > 资讯AI

淘天推出创新对齐方法，解决视觉大模型中的幻觉问题

文章来源：放心AI网发布时间：2025-05-06 17:19:48

近年来，视觉大模型（Large Vision Language Models， LVLMs）在图像理解和跨模态任务中展现出非凡的能力，然而随之而来的 “幻觉现象” 问题也日益突出。为了应对这一挑战，淘天集团的未来生活实验室团队提出了一种名为 “令牌偏好优化”(Token Preference Optimization，简称 TPO)的新方法，并引入了一种自我校准的视觉锚定奖励机制。

TPO 的最大创新在于它实现了自动化的令牌级奖励信号。这一方法能够自动识别偏好数据中的视觉锚定令牌，避免了人工细粒度标注的繁琐，同时在训练过程中为每个令牌分配了反映其与视觉信息依赖程度的奖励。这一自校准的视觉锚定奖励信号，旨在优化模型对视觉信息的依赖性，从而有效减轻幻觉现象的发生。

研究表明，采用 TPO 的模型在多个评测基准中显著优于传统的方法，尤其是在更复杂的任务中，模型生成的答案越来越依赖于图像信息而非语言模型的先验知识。这一进步不仅提升了模型的理解能力，也为进一步研究提供了重要的理论基础。

此外，研究团队还对 TPO 的不同参数设置进行了消融实验，发现优化的加噪步骤和奖励分配策略能够进一步提高模型性能。这一发现无疑为未来的视觉大模型研究和应用指明了方向。

总之，淘天的这一创新成果为多模态对齐技术提供了新的思路，推动了 AI 技术在生活和消费领域的深入应用。

OpenAI几周内发布o3-mini，性能略逊于o1-pro

上一篇: OpenAI几周内发布o3-mini，性能略逊于o1-pro

近日，OpenAI 的 CEO 山姆・奥特曼在社交媒体上透露，备受期待的 o3-mini 将在几周内正式发布。这一消息让众多关注人工智能发展的用户感到兴奋。o3-mini 作为大模型的蒸馏版，将同时推出 API 和网页端，进一步满

相关攻略更多

热门核心AI更多

最新资讯更多

BoomPPT

BoomPPT

核心AI

更新时间：2025-05-01