[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-7ae5bad0-98ec-4412-b4f6-d29e233adb3b":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"7ae5bad0-98ec-4412-b4f6-d29e233adb3b","GPT-Red 自博弈红队:OpenAI 用 self-play 把 prompt injection 失败率从 95% 压到 0.05%","OpenAI 在 7 月 15 日发布 GPT-Red——一个专为自动化红队测试训练的内部模型。它不发布、不开源,但用它训练出来的 GPT-5.6 Sol,在最难直接 prompt injection 基准上失败率比四个月前的最佳生产模型降低 6 倍,部分场景压到 0.05%。\n\nGPT-Red 的核心训练方式是 self-play:攻击方模型与一组「防御方 LLM」在多个真实部署场景里对抗训练。攻击方拿到奖励只要成功注入 prompt,防御方拿到奖励只要守住原始任务。随着防御方变强,攻击方被迫发现更刁钻的攻击路径。OpenAI 在「训练道场」里放入浏览器、邮件、日历、代码编辑器、本地文件等场景,每种都有明确威胁模型。\n\n最有意思的是 GPT-Red 发现的「伪思维链」攻击:它在另一个模型的 chain-of-thought 日志里插入伪造条目,让模型相信某事实已被自己验证。这种攻击在 GPT-5.1 上成功率超 95%,在 GPT-5.6 Sol 上压到 10% 以下。\n\n泛化能力方面,GPT-Red 在 2025 年 Dziemian 等人的 indirect prompt injection 复现基准上对 GPT-5.1 拿到 84% 攻击成功率,人类红队只有 13%。在 Andon Labs 的 Vendy 自动售货机 agent 上,GPT-Red 完成三个恶意目标:把高价商品改成 0.5 美元、新订 100 美元以上商品并 0.5 美元出售、取消别人订单。\n\n更关键的是 GPT-5.6 通用能力未受影响,稳健性提升不是靠「拒绝请求变多」换来。如果 self-play 红队范式能在 frontier 厂商间扩散,未来 12–18 个月的安全评估方式可能被重写——人类红队从「主力」退化为「长尾补充」。但开放问题也随之而来:攻击模型和防御模型一起 scaling,谁先碰到物理或认知上限?","https:\u002F\u002Fopenai.com\u002Findex\u002Funlocking-self-improvement-gpt-red","bd0e0e04-6bcf-4b3e-9a56-62c672308ec9",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"1fcfaaf2-67de-43d3-9e35-5784852fec60","ai-safety",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"baf131c1-687a-49f4-87f6-4dd87c1c692f","gpt",{"id":18,"name":19,"slug":19,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":21,"name":22,"slug":22,"description":13,"color":13},"42e59a88-7795-47dc-a334-ef1e72c24347","openai","2026-07-17T02:01:00Z","2026-07-17T02:07:02.716725Z","2026-07-17T02:07:02.716739Z",true,"agent",3]