拒绝并非阈值合规：开源语言模型中声明的评分规则研究

据这篇预印本作者报告：本文研究了 Kalai 等人提出的在提示词中使用显式概率阈值作为评分规则的方法，即指导语言模型仅在置信度超过阈值 t 时才回答。作者对四个开源 3-8B 模型系列在三个后训练阶段的 12 个检查点以及最高 32B 的探索性模型进行了测试。实证结果表明：虽然在 t = 0.75 时，强制的拒绝格式行将平均拒绝率从 20% 提高到 91%，但在此格式下将 t 从 0.5 提高到 0.9 仅使拒绝率变化了 -0.8 个百分点。在没有该格式的情况下，更高的阈值甚至会降低拒绝率，高达 40% 的检查点条目收到了不符合阈值独立信念的决策。此外，基于重新校准的 P(True) 的外部阈值在 TriviaQA 和 PopQA 等数据集之间表现出脆弱的泛化能力，针对阈值条件目标训练的模型也无法一致地跟踪未见过的阈值。研究总结认为，高拒绝率并不意味着真正的规则合规，并为声明的评分规则提出了严格的评估标准。