04 · Angebot
AI Release Management
ChaRM für KI-Agenten: jede Änderung versioniert, getestet, freigegeben — und umkehrbar. Ein Agent verhält sich anders, sobald sich Prompt, Modell, Tools oder Daten ändern. Wir geben Ihren Agenten die Disziplin des SAP-Change- und Release-Managements: ein Inventar, Versionen, ein festes Eval-Gate, eine Risikobewertung, eine Freigabe — und einen Weg zurück.
Das Problem
Agenten scheitern selten am ersten Tag. Sie scheitern nach dem dritten Modellwechsel, einem geänderten Prompt oder einem neuen Tool, das niemand getestet hat — und dann kann niemand sagen, welche Version lief, wer sie freigegeben hat oder wie man zurückkommt. In einer gut geführten SAP-Landschaft geht nichts ohne Transport, Test und Freigabe in Produktion. Agenten handeln, also verdienen sie dieselbe Disziplin.
Was wir liefern
- Ein Inventar aller Agenten, Modelle, Skills und MCP-Server — registriert, versioniert und mit Verantwortlichem
- Ein festes Eval-Gate, das jede Änderung bestehen muss: deterministische Testfälle, Prompt-Injection- und Tool-Tests, gewichtet nach Schwere — eine Regression in einer kritischen Kategorie sperrt die Freigabe
- Eine Risikobewertung pro Agent, inklusive Einstufung nach EU AI Act und Dokumentation, die ein Betriebsrat prüfen kann
- Eine Release-Akte für jede Änderung: was sich geändert hat, Testnachweise, Entscheidung, namentliche Freigabe und Rückfallversion
- Ein Audit-Protokoll, das nur ergänzt werden kann: Jeder Eintrag enthält den Hashwert des vorherigen, sodass Änderungen oder Löschungen früherer Einträge bei der Prüfung auffallen
- Kalibrierte LLM-Bewerter, wo ein Modell Ergebnisse beurteilt: Ihre Urteile zählen erst, wenn sie ausreichend mit menschlichen Einschätzungen übereinstimmen
- Rollback: ein nachweislich stabiles Release als Rückfallpunkt, getestet, bevor Sie es brauchen
- Betrieb: Ablaufprotokolle je Sitzung, Kosten je Aktion, Drift-Überwachung und ein Release-Kalender — auf Ihrer eigenen Git-Pipeline oder ausgelegt für SAP Cloud ALM und AI Agent Hub
- Ablaufprüfung für Agenten: Ein delegierter Arbeitsschritt gilt erst als erledigt, wenn seine aufgezeichneten Tool-Aufrufe zeigen, dass die Pflichtschritte gelungen sind — nicht, weil der Agent es meldet
So läuft es ab
Audit → Aufbau → Retainer: dieselbe Linie für jedes Angebot, hier auf diese Leistung zugeschnitten. Nach jeder Phase entscheiden Sie, ob es weitergeht.
- 01
Audit
Eine Bestandsaufnahme dessen, was heute läuft — Agenten, Modelle, Prompts, Tools, Verantwortliche — und ein Lückencheck gegen Release-Disziplin: Was ist versioniert, getestet, freigegeben und umkehrbar?
- 02
Aufbau
Der Release-Prozess selbst: das Eval-Gate mit Ihren echten Fällen, Risikobewertung, Freigabe-Workflow, Audit-Trail und Rollback — eingebunden in Ihre Pipeline.
- 03
Retainer
Wir betreiben das Gate mit Ihnen: Jeder Modellwechsel und jede Prompt-Änderung läuft hindurch, und das Testset wächst mit jedem Vorfall.
Passende Branchen
Branchen, die wir von innen kennen und für die sich dieses Angebot eignet.
Fragen
Woher wissen Sie, dass ein LLM-Bewerter richtig liegt?
Wir messen ihn, bevor wir ihm vertrauen. Wo ein LLM Ergebnisse bewertet, vergleichen wir seine Urteile mit menschlichen Bewertungen derselben Fälle — mit Cohens Kappa, einem gängigen Übereinstimmungsmaß, das Zufallstreffer herausrechnet. Erst ab 0,7 zählt sein Urteil. Unseren eigenen Bewerter kalibrieren wir gerade auf diese Weise; ein Ergebnis liegt noch nicht vor. Unsere 43 deterministischen Gate-Fälle nutzen keinen LLM-Bewerter.
Was bedeutet „AI Release Management“ in der Praxis?
Jede Änderung an einem Agenten — Prompt, Modell, Tool, Datenquelle — durchläuft Versionierung, eine feste Eval-Baseline, eine Risikobewertung und eine Freigabe, mit einem nachweislich stabilen Release als Rückfallpunkt. Wie ChaRM, nur für Agenten.
Warum ist ein Modellwechsel ein Release?
Weil sich derselbe Prompt auf einem anderen Modell anders verhält. In unserem eigenen Gate versuchte ein getestetes Modell, einen Server-Neustart anzukündigen, für den es gar kein Tool hatte. Ein festes Testset fängt so etwas vor der Produktion ab, nicht danach.
Brauchen wir dafür SAP?
Nein. Die Disziplin stammt aus dem SAP-Change- und Release-Management, aber der Prozess läuft auf jedem Stack — auf Ihrer eigenen Git-basierten Pipeline oder neben Ihrem bestehenden Change-Management.
Hilft das beim EU AI Act?
Es schafft die Grundlage: ein Inventar, eine Risikoeinstufung pro Agent, dokumentierte Tests und Freigaben sowie einen Audit-Trail. Ob ein Use Case als hochriskant gilt, wird im Einzelfall bewertet; die Pflichten für Hochrisiko-Anwendungen sollen ab dem 2. Dezember 2027 gelten.
In 30 Minuten durchsprechen.
Bringen Sie einen Prozess und Ihren Stack mit. Wir kommen vorbereitet und sagen Ihnen ehrlich, ob sich ein Agent rechnet — und welches Angebot der richtige Einstieg ist.
Oder schreiben Sie uns: office@novaeon.studio