Když AI už pouze neradí, ale také jedná

U klasického chatbota bývá riziko omezeno hlavně na nesprávnou nebo nepřesnou odpověď. U AI agenta může mít chyba mnohem vážnější následky. Agent může zvolit nesprávný nástroj, chybně pochopit požadavek uživatele nebo provést operaci s daty, ke kterým neměl mít přístup.

Představme si AI asistenta napojeného na fakturační systém. Uživatel napíše: „Připrav úhradu poslední faktury dodavateli.“ Agent musí identifikovat správnou fakturu, ověřit dodavatele, vybrat účet, zkontrolovat částku a připravit platební operaci. Pokud některý krok provede nesprávně, firma potřebuje vědět:

• kdo požadavek zadal,
• jaký vstup agent obdržel,
• jaká data použil,
• který nástroj zvolil,
• jaké parametry nástroji předal,
• kdo operaci schválil,
• jaký byl výsledek operace.

Bez těchto informací se z AI automatizace může stát černá skříňka. Firma sice vidí výsledek, ale nedokáže spolehlivě vysvětlit, jak k němu systém dospěl.

Co by měl kvalitní auditní záznam obsahovat?

Jednou z nejčastějších chyb je logovat pouze finální odpověď modelu. U AI agentů to nestačí. Auditní stopa by měla zachycovat celý průběh operace od požadavku uživatele až po její výsledek.

1. Identitu uživatele a agenta

Systém musí vědět, který uživatel operaci vyvolal a pod jakou identitou AI agent jednal. Agent by neměl používat jeden společný administrátorský účet pro všechny operace. Každý jeho krok musí být přiřaditelný ke konkrétnímu požadavku, uživateli a oprávnění.

2. Vstup a kontext rozhodnutí

Do auditu patří původní požadavek, relevantní systémové instrukce, použitý kontext a dokumenty, ze kterých agent čerpal. Citlivá data přitom nemusí být ukládána v otevřené podobě. Mohou být anonymizována, maskována nebo nahrazena identifikátorem.

3. Vybrané nástroje a jejich parametry

Pokud agent používá tool calling, audit musí zaznamenat název nástroje, předané parametry, výsledek validace a oprávnění, na jehož základě byla operace povolena. Samotný jazykový model by neměl rozhodovat o tom, zda má uživatel právo odstranit záznam nebo odeslat platbu. Toto rozhodnutí musí provést backend pomocí jasných a deterministických pravidel.

4. Výsledek a změnu stavu

Auditní záznam má obsahovat nejen to, co agent zamýšlel provést, ale také to, co se skutečně stalo. Při změně dat je vhodné zaznamenat původní a novou hodnotu, čas operace, stav před provedením a stav po provedení.

5. Chyby, opakování a timeouty

Agentní workflow často obsahují retry mechanismy. Pokud první pokus selže, agent může operaci zopakovat. Audit musí rozlišit jednotlivé pokusy a zabránit tomu, aby byla stejná platba, objednávka nebo e-mail provedeny vícekrát. Proto je důležitá idempotence a jednoznačný identifikátor každé operace.

Lidské schvalování jako poslední pojistka

Ne každá operace potřebuje potvrzení člověkem. Pokud agent vyhledá veřejně dostupný dokument nebo připraví návrh odpovědi, automatické provedení může být zcela přijatelné. Jiná situace nastává u operací, které mění data, přesouvají peníze, zveřejňují obsah nebo ovlivňují práva lidí.

U kritických kroků by měl systém využívat princip human-in-the-loop. Agent připraví návrh operace, ale její provedení čeká na schválení oprávněné osoby.

Schvalovatel by neměl vidět pouze tlačítka „Povolit“ a „Zamítnout“. Měl by dostat srozumitelný souhrn:

• co chce agent provést,
• proč tuto operaci navrhuje,
• jaká data budou změněna,
• jaké riziko operace představuje,
• zda je možné změnu vrátit zpět.

I samotné schválení musí být součástí auditu. Záznam má obsahovat identitu schvalovatele, čas, rozhodnutí a případný komentář.

Jak sledovat rozhodnutí AI bez předstírání, že známe její myšlenky?

Při auditování AI se někdy objevuje požadavek ukládat kompletní „uvažování“ modelu. Takový přístup však nemusí být spolehlivý ani potřebný. Pro audit je důležitější zaznamenávat pozorovatelné skutečnosti a rozhodovací body systému.

Místo pokusu zachytit vnitřní myšlenky modelu je užitečné uložit:

• jaké možnosti měl agent k dispozici,
• který nástroj vybral,
• jaké parametry navrhl,
• jaká pravidla backend použil při validaci,
• které oprávnění umožnilo provedení operace,
• jaké zdroje a dokumenty podporovaly výsledek.

Taková stopa je pro vyšetřování mnohem užitečnější než dlouhý text, ve kterém model dodatečně vysvětluje své rozhodnutí.

Vyšetřování incidentu krok za krokem

Představme si, že AI agent odeslal dokument nesprávnému zákazníkovi. Bez kvalitního auditu může vyšetřování trvat celé dny. Tým musí prohledávat aplikace, databáze, e-maily a systémové logy a přitom stále nemusí vědět, kde chyba vznikla.

S kvalitní auditní stopou lze incident rekonstruovat mnohem přesněji:

1. najít konkrétní požadavek podle identifikátoru operace,
2. ověřit uživatele, který operaci spustil,
3. zkontrolovat vstup a použitý kontext,
4. zjistit, proč agent vybral konkrétní dokument a nástroj,
5. ověřit výsledek kontroly oprávnění,
6. zjistit, zda operaci někdo schválil,
7. identifikovat přesný bod selhání,
8. upravit pravidla a vytvořit test, který zabrání opakování chyby.

Cílem auditu tedy není pouze najít viníka. Dobrý audit pomáhá systému učit se z incidentů a zvyšovat jeho spolehlivost.

Nejčastější chyby při auditování AI agentů

Logování příliš malého množství údajů

Záznam „agent provedl operaci“ nestačí. Bez informací o vstupu, nástroji, parametrech a výsledku nelze incident spolehlivě rekonstruovat.

Logování všeho včetně citlivých dat

Opačným extrémem je ukládat celé prompty, osobní údaje, hesla, přístupové tokeny nebo důvěrné dokumenty. Auditní logy musí být chráněny stejně důsledně jako produkční data.

Možnost měnit nebo mazat auditní stopu

Pokud může uživatel nebo samotný agent zpětně změnit záznamy, audit ztrácí důvěryhodnost. Logy by měly být chráněny před neoprávněnou změnou a měly by mít jasně nastavenou dobu uchovávání.

Společná identita pro všechny agenty

Pokud všechny automatizace používají stejný účet, není možné určit, který agent provedl konkrétní operaci. Každý agent a každé workflow by měly mít vlastní identitu a minimální potřebná oprávnění.

Chybějící plán reakce na incident

Samotné logy nepomohou, pokud nikdo neví, kdo je sleduje a co má udělat při podezřelé operaci. Firma potřebuje jasný postup eskalace, zastavení agenta, odebrání oprávnění a obnovy systému.

Praktický kontrolní seznam

• Každá operace má jedinečný identifikátor.
• Je znám uživatel i agent, kteří operaci provedli.
• Loguje se výběr nástroje, parametry, výsledek a chyba.
• Backend samostatně ověřuje oprávnění a vstupní údaje.
• Kritické operace vyžadují lidské schválení.
• Citlivá data a secrets se do logů neukládají v otevřené podobě.
• Auditní záznamy jsou chráněny před změnou a neoprávněným přístupem.
• Existuje postup pro zastavení agenta a vyšetření incidentu.
• Retry mechanismy jsou idempotentní a nevytvářejí duplicity.
• Výsledky auditu se používají při testování a zlepšování systému.

Naučte se pracovat s AI prakticky

Pokud chcete začít s umělou inteligencí bez předchozích znalostí programování, nabízíme kurz Praktický úvod do umělé inteligence. Během jednoho dne si vyzkoušíte ChatGPT, DeepSeek, prompt engineering, vyhledávání a analýzu informací, Google Colab i trénování jednoduchého modelu z vlastních dat. Získáte také přehled o možnostech AI nástrojů v AWS, přesnosti modelů a optimalizaci nákladů.

Kromě kurzů umělé inteligence nabízíme také další IT školení, například kurzy programování v PHP, Javě a v dalších jazycích a technologiích.

Časté otázky o auditování AI operací

Musíme logovat každou odpověď AI?

Rozsah logování závisí na riziku systému. U agentů s přístupem k firemním nástrojům je důležité zaznamenávat hlavně provedené operace, použité nástroje, oprávnění a změny dat.

Mohou auditní logy obsahovat celé prompty?

Mohou, ale pouze pokud je to nezbytné a bezpečné. Citlivá data, hesla a přístupové tokeny je nutné maskovat nebo z logů zcela odstranit.

Které operace by měl schvalovat člověk?

Především operace s významným finančním, právním, bezpečnostním nebo reputačním dopadem, například platby, mazání dat, zveřejnění obsahu nebo změny uživatelských oprávnění.