AI裁判真的能准确评估你的个性化写作风格吗？

据Apple Machine Learning发布的信息：

这项被NeurIPS 2026研讨会接受的研究深入探讨了大模型作为个性化写作任务裁判的实际表现。研究人员通过四种大模型完成了三项长文本写作任务，收集了人类的偏好标签，并将其与AI裁判的评分结果进行了对比。

研究发现，AI裁判的质量与诸如MMLU等通用推理能力测试的成绩只有很弱的相关性。有趣的是，最强大的模型并不总能最准确地复现人类的评估，这可能是因为它们对一些人类和较弱模型会忽略的微小细节过于敏感。

此外，实验还发现了一个实用的评估技巧：两两对比。当AI裁判被要求在两个回答中挑选出更好的一方，而不是孤立地为一个回答打分时，它们的表现会稳定和可靠得多。