Novaeon 智能体工厂
- 更换模型成了一次发布:8 个候选构建中,2 个通过关口,6 个在进入生产前被拦下。
- 一个受测模型声称要重启服务器,而它根本没有执行重启的工具。这个问题暴露在关口中,而不是在生产环境中。
- 在我们的 60 项任务基准测试中,路由的任务分派正确率为 95%,模型档位正确率为 90%;在本地硬件上,一次路由决策约需 1.5 秒。
方法
- 一个协调智能体把任务分派给专业智能体(工作室、运维);五项及以上的独立工作会分流到并行的工作通道,返回附带引用证据的结构化结果。
- 路由器为每项任务做三个决定:由谁处理、用哪一档模型、是否开启推理;由两个独立的评判器把关,一旦存疑就上报给更强的模型。
- 每次更换模型都要过回归关口:43 个确定性测试用例,不用 LLM 作评判。通过标准:得分不低于基线减 2、工具调用零回归、请求零错误。现在每次更换模型还会生成一份发布档案,并记入通过哈希值串联的审计日志。
- 所有公开内容都会对照来源进行事实核查,并在上线前由另一个不同的模型再次检查。
自有基准测试,2026 年 10 月。路由基准使用 60 个贴近真实的请求,配有固定的参考标签(测量于加入运维用例之前)。