04 · Ofertă
Release management pentru AI
ChaRM pentru agenți AI: fiecare modificare versionată, testată, aprobată — și reversibilă. Un agent își schimbă comportamentul când i se schimbă promptul, modelul, uneltele sau datele. Le aplicăm agenților dumneavoastră disciplina change și release management din SAP: un inventar, versiuni, o poartă fixă de evaluare, o evaluare a riscului, o aprobare — și o cale de întoarcere.
Problema
Agenții rareori cedează în prima zi. Cedează după a treia schimbare de model, după un prompt modificat sau o unealtă nouă pe care n-a testat-o nimeni — și atunci nimeni nu mai poate spune ce versiune a rulat, cine a aprobat-o sau cum se poate reveni. Într-un landscape SAP bine condus, nimic nu ajunge în producție fără transport, test și aprobare. Agenții acționează, deci merită aceeași disciplină.
Ce livrăm
- Un inventar al fiecărui agent, model, skill și server MCP — înregistrat, cu responsabil și versionat
- O poartă fixă de evaluare pe care fiecare modificare trebuie să o treacă: cazuri de test deterministe, teste de prompt injection și de unelte, ponderate după gravitate — o singură regresie într-o categorie critică blochează release-ul
- O evaluare de risc per agent, inclusiv clasificare conform EU AI Act și documentație pe care o pot analiza reprezentanții angajaților
- Un dosar de release pentru fiecare modificare: ce s-a schimbat, dovezile de testare, decizia, aprobatorul numit și versiunea la care se poate reveni
- Un jurnal de audit în care se pot doar adăuga înregistrări: fiecare conține hash-ul celei anterioare, așa că modificarea sau ștergerea unei înregistrări mai vechi iese la iveală la verificare
- Evaluatori LLM calibrați acolo unde un model notează rezultatele: verdictele lor contează doar dacă se potrivesc suficient de bine cu evaluările umane
- Rollback: un release validat la care vă puteți întoarce, testat înainte să aveți nevoie de el
- Operare: jurnale de execuție per sesiune, cost per acțiune, monitorizarea drift-ului și un calendar de release-uri — pe propriul pipeline bazat pe Git sau gândit pentru SAP Cloud ALM și AI Agent Hub
- Verificarea execuției agenților: o sarcină delegată contează ca încheiată doar dacă apelurile de unelte înregistrate arată că pașii obligatorii au reușit — nu pentru că agentul o afirmă
Cum se desfășoară
Audit → Construcție → Retainer: aceeași linie pentru fiecare ofertă, adaptată specificului ei. După fiecare etapă decideți dacă mergem mai departe.
- 01
Audit
Un inventar a ceea ce rulează azi — agenți, modele, prompturi, unelte, responsabili — și o analiză a lipsurilor față de disciplina de release: ce e versionat, testat, aprobat și reversibil.
- 02
Construcție
Procesul de release propriu-zis: poarta de evaluare cu cazurile dumneavoastră reale, evaluarea riscului, workflow-ul de aprobare, audit trail-ul și rollback-ul — integrate în pipeline-ul dumneavoastră.
- 03
Retainer
Operăm poarta împreună cu dumneavoastră: fiecare schimbare de model și de prompt trece prin ea, iar setul de teste crește cu fiecare incident.
Industrii potrivite
Unde această ofertă întâlnește un teren pe care îl cunoaștem din interior.
Întrebări
Cum știți că un evaluator LLM are dreptate?
Îl măsurăm înainte să ne bazăm pe el. Acolo unde un LLM notează rezultatele, comparăm verdictele sale cu evaluările umane ale acelorași cazuri folosind coeficientul kappa al lui Cohen, o măsură standard a acordului care elimină potrivirile întâmplătoare. Verdictul său contează doar de la 0,7 în sus. Ne calibrăm acum propriul evaluator în acest fel; nu avem încă un rezultat. Cele 43 de cazuri deterministe ale porții noastre nu folosesc un evaluator LLM.
Ce înseamnă în practică „release management pentru AI”?
Orice modificare a unui agent — prompt, model, unealtă, sursă de date — trece prin versionare, un baseline fix de evaluare, o evaluare a riscului și o aprobare, cu un release validat la care puteți reveni. Ca ChaRM, dar pentru agenți.
De ce este o schimbare de model un release?
Pentru că același prompt se comportă diferit pe un alt model. În propria noastră poartă, un model testat a încercat să anunțe un reboot de server pentru care nu avea nicio unealtă. Un set fix de teste prinde asta înainte de producție, nu după.
Avem nevoie de SAP pentru asta?
Nu. Disciplina vine din change și release management SAP, dar procesul rulează pe orice stack — pe propriul pipeline bazat pe Git sau alături de procesul de change management pe care îl aveți deja.
Ne ajută asta cu EU AI Act?
Pune bazele: un inventar, o clasificare de risc per agent, teste și aprobări documentate și un audit trail. Dacă un caz de utilizare intră în categoria de risc ridicat, se evaluează de la caz la caz; obligațiile pentru utilizările cu risc ridicat sunt programate să se aplice din 2 decembrie 2027.
Să discutăm 30 de minute.
Veniți cu un proces și cu stack-ul dumneavoastră. Venim pregătiți și vă spunem onest dacă un agent se justifică — și care ofertă este începutul potrivit.