大模型竞争焦点转向“智慧”而非“规模”
随着大模型技术日益进步,我们能否用某种方式来评估这些AI模型的“智力水平”?近日,清华大学的研发团队提出了“大模型密度法则”的新理念,并在《自然·机器智能》杂志上发表了相关成果。他们指出,大语言模型的最大能力密度正呈现出指数式的跃升——自2023年2月至2025年4月,平均大约每3.5个月就增长一倍。
大家都知道计算机芯片界的“摩尔定律”,即芯片上晶体管数量会定期翻倍,从而推动算力进步。芯片的强大,不在于体积庞大,而在于高密度的集成。对此,清华大学计算机科学与技术系的助理研究员肖朝军表示,大模型的能力同样有必要被一种能量密度式的指标来衡量,这便是所谓的“能力密度”。
该项研究的核心观点是,采用同样训练方式和技术工艺,规模不同的模型,其单位参数所承载的能力密度应当基本一致。与芯片行业通过提升集成度促进设备小型化和普及类似,大模型的发展同样依赖于能力密度的提升,从而获得更高效的智能化。
肖朝军分析称,过去行业侧重于关注大模型的“规模”(即参数数量),更多参数往往意味着更强的表现。就像衡量运动员时参照其体重,但其实比体重更重要的是“单位”能力密度——也就是每一参数蕴含的“智慧”含量。他形象地举例道:“武林高手的评价标准不是肌肉多发达,而在于一招一式中包含多少真功夫”。
在对近几年发布的51个开源大模型进行系统分析后,研究团队进一步验证了能力密度呈现指数增长的趋势:自2023年以来,基本上每3.5个月就会实现倍增。这表明,得益于数据、算力和算法的协同进步,大模型使用的参数量越来越少,获得的智能水平却并未下降。
团队还扩展得出若干推论。例如,模型达到相同智力水平时,其推理所需算力也正以类似的速率迅速下降。同时,随着能力密度的不断提升,进步的速度本身正在加快。与ChatGPT发布之前的4.8个月翻倍相比,ChatGPT之后指标跃升为3.2个月翻倍,提升接近50%,可见技术进步和开源生态加速了这一进程。
肖朝军认为,从实际应用角度来看,能力密度越高,模型“更聪明”的同时,对硬件资源的依赖也越低,进而降低了成本。对整个学术界和业界来说,这带来了多元技术创新的机遇,让AI大模型可以触及更广泛的应用场景。
此外,密度法则同样预示着AI在使用层面愈发普及和便捷。肖朝军介绍说,随着芯片的电路密度和模型能力密度不断提升,曾经只能部署在云端的复杂大模型,未来或许能直接在终端芯片本地运行。在响应速度、数据安全和用户隐私方面,这会带来天然优势,为用户提供更加丰富的服务体验。
肖朝军以智能汽车为例,早前的大模型常见于“帮我开窗”“查找附近餐馆”等被动功能,但终端部署模型后,通过多模态感知与意图理解,可以主动感知车内外环境,实现智能座舱的自我决策和服务,让智能辅助变得更加主动和贴心,深度融入每一次出行。
记者 张盖伦





