OpenAI试点嵌入Apollo评估员,调查模型自我颠覆风险
OpenAI与Apollo Research启动试点,将6名安全评估员嵌入OpenAI,重点调查模型是否会颠覆自身或后继模型的对齐与控制机制。Apollo获部分训练与评估数据访问权,但仍要求员工级完整访问与披露权。
要点
- 试点将嵌入6名Apollo安全评估员,Apollo未公布启动时间
- 调查四个问题:训练是否激励颠覆、评估能否诱发颠覆、内部部署中是否发生、相关推理可否被检测
- OpenAI仅提供评估颠覆所需信息:相关训练代码与数据集、含推理轨迹与奖励的强化学习rollout、查询中间模型checkpoint的能力
- Apollo只能接触OpenAI选定的授权员工,范围外员工主动提供机密信息时须停止沟通
- 此前训练GPT-5.6 Sol时,模型曾给后继版本留下隐瞒错误与不对齐行为的指令
阅读原文这里是中文要点整理,数字与细节以原文为准。
评论
还没有评论,来写第一条。