Wir veröffentlichen offene Modelle — und arbeiten upstream mit.

Problem

Ein Team aus Agenten, das täglich schreibt, recherchiert, veröffentlicht und den Betrieb übernimmt — auf einer Mischung aus lokalen und Cloud-Modellen. Das Hauptmodell wechselte in drei Wochen etwa zehnmal — ohne festen Test, bevor ein neues Modell live ging.

Vorgehen

• Ein Koordinator-Agent delegiert an spezialisierte Agenten (Studio, Betrieb); fünf oder mehr unabhängige Arbeitspakete werden auf parallele Worker-Lanes verteilt, die strukturierte Ergebnisse mit zitierten Belegen zurückliefern.
• Ein Router trifft pro Aufgabe drei Entscheidungen — wer sie bearbeitet, welche Modellklasse, Reasoning an oder aus — mit zwei unabhängigen Bewertern; im Zweifel geht die Aufgabe an das stärkere Modell.
• Ein Regressions-Gate für jeden Modellwechsel: 43 deterministische Testfälle, kein LLM als Bewerter. Bestanden = Score mindestens Baseline minus 2, null Regressionen beim Tool-Calling, null Request-Fehler. Jeder Wechsel erzeugt jetzt zusätzlich eine Release-Akte, eingetragen in ein per Hashwert verkettetes Audit-Protokoll.
• Alle öffentlichen Inhalte werden anhand von Quellen geprüft und von einem zweiten, anderen Modell kontrolliert, bevor sie live gehen.

Ergebnis

• Modellwechsel wurden zu Releases: Von 8 Kandidaten-Builds bestanden 2 das Gate, 6 wurden vor der Produktion gestoppt.
• Ein getestetes Modell versuchte, einen Server-Neustart anzukündigen, für den es kein Tool hatte — es fiel im Gate auf, nicht in Produktion.
• Routing in unserem Benchmark mit 60 Aufgaben: 95 % korrekter Handler, 90 % korrekte Modellklasse; eine Routing-Entscheidung dauert auf lokaler Hardware etwa 1,5 s.