La Novaeon Agent Factory
- Los cambios de modelo se convirtieron en releases: de 8 versiones candidatas, 2 superaron el control y 6 se detuvieron antes de producción.
- Un modelo en prueba intentó anunciar un reinicio del servidor para el que no tenía herramienta: salió a la luz en el control, no en producción.
- Enrutamiento en nuestro benchmark de 60 tareas: 95% de gestor correcto, 90% de nivel de modelo correcto; una decisión de enrutamiento tarda unos 1,5 s en hardware local.
Enfoque
- Un agente coordinador delega en agentes especialistas (estudio, operaciones); cinco o más trabajos independientes se reparten en líneas de trabajo paralelas que devuelven resultados estructurados con evidencia citada.
- Un router toma tres decisiones por tarea — quién la gestiona, qué nivel de modelo, razonamiento activado o no — con dos jueces independientes; ante cualquier duda, escala al modelo más potente.
- Un control de regresión para cada cambio de modelo: 43 casos de prueba deterministas, sin LLM como juez. Aprobado = puntuación de al menos la línea base menos 2, cero regresiones en tool calling, cero errores de petición. Cada cambio genera ahora también un expediente de release, anotado en un registro de auditoría encadenado por hashes.
- Todo lo público se verifica contra las fuentes y lo revisa un segundo modelo, distinto, antes de publicarse.
Benchmarks propios, octubre de 2026. El benchmark de enrutamiento usa 60 peticiones realistas con etiquetas de referencia fijas (medido antes de añadir los casos de operaciones).