首页 > 资讯AI

AI终于要长脑子了？MIT大牛发现大模型惊现“人脑分区”！

文章来源：放心AI网发布时间：2025-06-08 09:07:53

AI 竟然开始“长脑子”了?!麻省理工学院的最新研究表明，大型语言模型（LLM）的内部结构，竟然和人脑有着惊人的相似之处!

这项研究利用稀疏自编码器技术，对LLM的激活空间进行了深入分析，发现了三个层级的结构特征，令人惊叹:

首先，在微观层面上，研究人员发现了类似“晶体”结构的存在。这些“晶体”的面是由平行四边形或梯形构成，类似于我们熟知的词汇类比，例如“男人:女人::国王:女王”。

更令人惊讶的是，通过线性判别分析技术去除一些无关的干扰因素（如词语长度）后，这些“晶体”结构会变得更加清晰。

其次，在中观层面上，研究人员发现LLM的激活空间存在着类似人脑功能分区的模块化结构。

例如，与数学和代码相关的特征会聚集在一起，形成一个类似于人脑功能叶的“脑叶”。通过多种指标进行量化分析，研究人员证实了这些“脑叶”的空间局部性，表明共同出现的特征在空间上也更加聚集，远远超出了随机分布的预期。

在宏观层面上，研究人员发现LLM特征点云的整体结构并非各向同性，而是呈现出一种幂律特征值分布，并且这种分布在中间层最为明显。

研究人员还量化分析了不同层级的聚类熵，发现中间层的聚类熵较低，表明特征表示更加集中，而早期和晚期层的聚类熵较高，表明特征表示更加分散。

这项研究为我们理解大型语言模型的内部机制提供了全新的视角，也为未来开发更强大、更智能的AI系统奠定了基础。

Meta正在自研搜索引擎，欲摆脱Google微软依赖

上一篇: Meta正在自研搜索引擎，欲摆脱Google微软依赖

据The Information最新报道，Meta正在悄然推进一项雄心勃勃的计划:为旗下AI聊天机器人开发专属搜索引擎。这一战略转向背后，是Meta对苹果隐私政策变更造成重大损失的深刻反思。Meta的搜索引擎项目已秘密进行至少8

相关攻略更多

热门核心AI更多

最新资讯更多

星火知识库

星火知识库

核心AI

更新时间：2025-04-08