探索权重空间编程：能力、泛化与局限性

权重空间编程（WSP）允许推理智能体直接检查和修改神经网络参数，而不是依赖标准的基于梯度的自适应方法。该预印本通过16条编辑轨迹、7个基准测试和两个模型规模（Qwen3.5-0.8B和Qwen3.5-9B）系统地研究了WSP。研究结果揭示了三个主要见解：首先，WSP可以通过高度局部的干预实现显著的性能提升，例如仅修改1,023个参数就在MATH-500上将准确率提高了29.45个百分点。其次，WSP表现出有前景但不均衡的跨任务泛化能力，经数学任务编辑的检查点可以迁移到其他基准（如SciBench和IFEval），但对某些任务无效。第三，有效的编辑仍然具有挑战性和不一致性，不同轨迹的结果差异很大，由于验证不可靠，部分尝试最终保留了原始权重。该论文开源了代码，并指出了参数级编辑在干预发现、可靠性和跨任务迁移方面面临的基本挑战。