ACL 2025 杰出论文 | 小红书 AI 搜索和北理工提出容量差距法则 - 新鲜讯息

在ACL 2025大会上，小红书 AI 搜索团队与北京理工大学宋大为教授团队的合作论文《Towards the Law of Capacity Gap in Distilling Language Models》荣获杰出论文奖（Outstanding Paper Award）。该研究首次提出“容量差距法则（Law of Capacity Gap）”，揭示了在语言模型蒸馏中，学生模型与教师模型的最优规模关系呈线性规律（约为 2.5 倍），大幅降低了寻找最佳教师模型的算力成本，并成功将蒸馏效率与性能推向帕累托前沿。

小红书 AI 搜索团队和北京理工大学宋大为教授团队合作论文《Towards the Law of Capacity Gap in Distilling Language Models》在自然语言处理顶级国际会议 ACL 上获得杰出论文奖（Outstanding Paper Award）。

获奖论文《Towards the Law of Capacity Gap in Distilling Language Models》主要关注大规模语言模型（Large Language Model）蒸馏中的“容量差距诅咒”（Curse of Capacity Gap）现象：当学生模型与教师模型的规模差距过大时，性能最优的学生模型未必来自规模最大的教师模型，而确定对应最优教师模型规模往往需要高昂的算力成本。该研究受到语言模型规模定律（Scaling Law）的启发，通过一系列小规模试验，探索给定学生模型规模与其最优教师模型规模之间的数学关系，并首次发现二者呈线性关系（最优教师规模约为学生规模的 2.5 倍），提出了容量差距法则（Law of Capacity Gap）。该法则不仅显著减少了确定最优教师模型规模所需的计算成本，还在跨规模实验中验证了其稳健的外推能力，并据此成功蒸馏出高效小型模型 MiniMA。

Github Repo：

https://github.com/GeneZC/MiniMA

Huggingface Model:

https://huggingface.co/GeneZC/MiniMA-3B

Arxiv Link：

https://arxiv.org/abs/2311.07052

语言模型蒸馏主要是指利用教师–学生的范式，将较大规模的模型（教师模型）的知识尽可能无损地迁移到较小规模的模型（学生模型）上，从而获得更好的效率和可接受的性能。

但是语言模型蒸馏因教师模型和学生模型规模差异较大而面临着一个反直觉的现象，即容量差距灾难（Curse of Capacity Gap）。如下图，与性能最佳学生模型相匹配的最优教师语言模型，未必是参数量最大的模型。具体而言，如图所示（上部分），对于分别从 GPT-2-medium（3.8 亿参数）、GPT-2-large（8.1 亿参数）和 GPT-2-xlarge（16 亿参数）蒸馏得到的约 3 亿参数学生模型，性能最佳的学生模型（以困惑度衡量，越低越好）反而源自 GPT-2-large 教师模型，而非参数规模最大的 GPT-2-xlarge。

在这种现象下，越来越多样化的教师模型导致了容量差距不可能三角（Impossible Triangle of Capacity Gap）。即为了确定最优的教师模型，需要针对不同规模的教师语言模型进行枚举式蒸馏实验，从而导致了对于特定规模的学生语言模型，其最佳性能所对应的最优教师模型规模并非无法在小算力的基础上被发现。

面对这一不可能三角困境，我们能否将容量差距的诅咒转化为定律？能否以最低计算开销为约束，基于目标学生模型规模确定最优教师模型规模？为此，我们提出一个基本假设：在目标学生模型规模与最优教师模型规模之间，存在一种完美适配的数学关系——即容量差距法则。

为了发现这一法则，我们进行了大量的小规模试验，对于其中的每个试验，我们：