给大模型瘦身的新方法：像保护团队一样保留AI的“专家”

背景

现在的超大语言模型越来越喜欢用“专家混合”架构，这样可以在不大幅增加计算成本的情况下把模型做得非常庞大。但这也带来了一个大麻烦：内存占用巨大。因为不管当前输入的是什么内容，模型里的所有专家模块都必须老老实实待在内存里，哪怕90%以上的专家在这一秒根本没干活。

细节

为了给模型瘦身，过去的方法是给每个专家打分，单独挑出表现最差的直接删掉。但新研究发现，AI体内的专家并不是各自为战的，而是会抱团合作。如果只看单兵作战能力，把某个看似不太起眼的专家删掉，很可能会破坏整个合作小团队。为此，研究人员推出了名为 HOPE 的新算法，它会把专家之间的“协作关系”也算进去，确保在删减时尽量保住那些配合默契的专家组合。

影响

在多款主流大模型的测试中，HOPE 在面对大规模删减时表现极其出色。当砍掉一半专家时，使用 HOPE 瘦身后的模型在复杂编程任务上的表现甚至能和原版未瘦身模型打成平手，而传统方法则会出现明显退化。这项技术能帮企业和开发者省下巨额内存，让现有硬件跑起大模型来更加轻松高效。