首页 > 资讯AI

北大团队首次系统性评估大语言模型心理特征，推动AI评估新标准

文章来源：放心AI网发布时间：2025-06-17 14:58:06

在人工智能迅猛发展的今天，大语言模型（LLM）展现出了超凡的能力，但如何科学评估它们的 “心智” 特征，比如价值观、性格和社交智能，依旧是一个亟待解决的难题。近期，北京大学的宋国杰教授团队发布了一篇全面的综述论文，系统梳理了大语言模型心理测量学的研究进展，为 AI 的评估提供了新视角。

这篇论文名为《大语言模型心理测量学:评估、验证与增强的系统综述》，长达63页，引用了500篇相关文献。随着 LLM 能力的快速迭代，传统的评估方法已显不足。论文指出，当前评估面临多重挑战，包括 LLM 的心智特征超出传统评测范围、模型迭代快使静态基准失效、评估结果容易受微小变化影响等。为此，团队提出了将心理测量学引入 AI 评估的新思路。

心理测量学长期致力于量化复杂心理特质，通过科学设计的测试为教育、医疗和商业决策提供支持。研究者们发现，将其方法论应用于 LLM 的评估，将有助于深入理解和提升 AI 的心智能力。这一方法革新为 AI 评估开启了全新的视角，从而推动了 “LLM 心理测量学” 的交叉领域发展。

论文中提出了三大创新方向:一是采用 “构念导向” 的评估方法，深入挖掘影响模型表现的潜在变量;二是引入心理测量学的严谨方法，提升测试的科学性与可解释性;三是利用项目反应理论，动态校准测试项目难度，使得不同 AI 系统之间的比较更加科学和公平。

此外，研究还探讨了 LLM 表现出的类人心理构念，包括人格特质、能力构念等，强调了这些特质对模型行为的深远影响。通过结构化和非结构化的测试形式，团队为 LLM 的 “心智” 能力评估奠定了方法论基础，为未来 AI 的发展提供了有力的理论支持。

论文地址：https://arxiv.org/pdf/2505.08245

SAP与阿里巴巴达成战略合作，接入阿里通义千问

上一篇: SAP与阿里巴巴达成战略合作，接入阿里通义千问

近日，阿里巴巴集团与全球企业软件巨头 SAP 正式宣布达成全面战略合作。此次合作旨在深度融合 SAP 的企业级解决方案与阿里云的云计算基础设施及人工智能能力，以共同推动全球企业的数字化转型进程。根据双方的合

相关攻略更多

热门核心AI更多

最新资讯更多

夸克网页版

夸克网页版

核心AI

更新时间：2025-04-28