Meta JiTTests:LLM生成会失败的测试拦截风险代码
Meta将LLM生成的JiTTests投入生产,测试在风险diff上失败以拦截缺陷;H1 2026捕获74个隐私SEV、隐私SEV降20%,自报60%真阳性,仅内部使用。
要点
- JiTTests让LLM生成可执行测试,目标是在风险diff上失败,提供行为改变的具体证据。
- 生产流程含目标筛选、两种diff感知生成工作流、LLM评审集成、RubFake规则过滤与人工在环。
- 论文分析22,126个生成测试;意图感知在6.4%测试、7.9%diff上产生弱捕获。
- 2026上半年在diff阶段捕获74个隐私SEV,隐私SEV发生率下降20%,工程师自报60%真阳性。
- 早期部署41个候选仅8个确认(19.5%);Meta未公开代码、模型或API。
阅读原文这里是中文要点整理,数字与细节以原文为准。
评论
还没有评论,来写第一条。