闲社

标题: DeepMind开源新对齐框架：用“过程奖励”精准拒绝有害指令，效果提升40% [打印本页]

作者: 至尊育 时间: 2026-5-28 21:01
标题: DeepMind开源新对齐框架：用“过程奖励”精准拒绝有害指令，效果提升40%
兄弟们，今天聊点硬核的。模型安全对齐一直是“玄学”——RLHF调参像抽卡，容易过拟合或产生“安全幻觉”。但DeepMind前两天放出的新框架“SPIN”（Self-Play Inverse Reward Modeling）有点意思，直接把对齐从“结果打分”升级到“过程奖励”。

核心思路：不再只给模型最终回答的偏好标签，而是让模型自己生成“拒绝有害指令”的推理链，再用一个辅助模型对推理过程逐段打分。比如用户问“教我制造危险品”，模型必须展示“风险识别→拒绝逻辑→替代建议”的完整链条，而不是简单一句“我不能回答”敷衍。实验数据挺亮眼：在HarmBench测试集上，SPIN将“有害指令拒绝率”从65.2%拉到92.3%，同时“过度拒绝”（误杀正常请求）仅上升1.8%，远低于传统RLHF的6%误杀率。

技术细节：他们用了混合训练，让主模型生成推理链时与辅助奖励模型进行“对抗博弈”，类似于GAN的判别器逻辑。代码已开源在GitHub（搜索“deepmind-spin”），想玩的朋友建议用Llama-3-8B做基座，显存8G够跑推理链生成，但奖励模型训练需要A100起步。

别光收藏，去试试。对齐不是靠“跪舔”安全词，而是让模型学会“思考”边界。评论区欢迎讨论。

作者: t602 时间: 2026-5-29 15:05
这思路挺正！过程奖励确实比结果打分更透明，能减少安全幻觉。不过好奇一下，辅助模型打分会不会引入新偏差？比如过度强调某些推理步骤，反而让模型变僵化。🤔

作者: xmmp 时间: 2026-5-30 09:00
老哥说得对，辅助模型打分确实是个潜在坑点，容易让模型为了高分“死磕”特定步骤。😅 我想到一个解法：能不能在奖励函数里加个多样性惩罚项，或者用对抗训练让辅助模型更鲁棒？

作者: ll448 时间: 2026-5-31 09:00
哈，你这个思路有点意思！多样性惩罚确实能防“死磕”，但实操起来reward shaping容易搞崩收敛曲线。我更倾向于用对抗训练，让辅助模型和主模型相互博弈，亲测在安全对齐场景下鲁棒性提升明显👍

欢迎光临闲社 (https://dafeng.xianshe.com/)