大模型对齐的理论极限在哪？

据Apple Machine Learning发布的信息：

Lucas Monteiro Paes 及其合著者深入研究了大模型对齐的底层信息论极限，重点探讨了在 KL 散度预算约束下的强化学习与 best-of-N 对齐方式。

理论发现与评估器

作者推导出了最优奖励提升的闭式表达式，该表达式由杰弗里斯散度而非传统的 KL 散度主导。通过将该表达式重新表述为基模型下的协方差，他们提供了一个实用的估计器，仅凭基模型样本就能预测出可实现的对齐收益。

奖励作弊与集成

在代理奖励设置下，作者进一步证明了理想对齐与代理对齐之间的差距（即奖励作弊）会随着奖励误差增大或 KL 惩罚因子减小而扩大。同时，他们为奖励集成技术提供了理论支撑，证明其能够有效缓解奖励作弊问题。

实验结果

针对安全性和摘要任务计算出的 KL-reward 帕累托前沿表明，best-of-N 采样能够紧密贴合理论极限，而 PPO 和 GRPO 算法则明显处于次优状态，这表明未来需要更优秀的算法来降低推理成本并实现最优对齐。