Gdy AI nie tylko doradza, ale także działa

W przypadku klasycznego chatbota ryzyko często ogranicza się do błędnej lub niedokładnej odpowiedzi. W przypadku agenta AI błąd może mieć znacznie poważniejsze konsekwencje. Agent może wybrać niewłaściwe narzędzie, nieprawidłowo zrozumieć polecenie użytkownika albo wykonać operację na danych, do których nie powinien mieć dostępu.

Wyobraźmy sobie asystenta AI połączonego z systemem fakturowania. Użytkownik pisze: „Przygotuj płatność ostatniej faktury dla dostawcy”. Agent musi znaleźć właściwą fakturę, zweryfikować dostawcę, wybrać rachunek, sprawdzić kwotę i przygotować operację płatniczą. Jeżeli którykolwiek z tych kroków zostanie wykonany nieprawidłowo, firma powinna wiedzieć:

• kto wysłał polecenie,
• jakie dane wejściowe otrzymał agent,
• z jakich informacji skorzystał,
• które narzędzie wybrał,
• jakie parametry przekazał do narzędzia,
• kto zatwierdził operację,
• jaki był jej rzeczywisty wynik.

Bez tych informacji automatyzacja AI może stać się czarną skrzynką. Firma widzi rezultat, lecz nie potrafi wiarygodnie wyjaśnić, w jaki sposób system do niego doszedł.

Co powinien zawierać dobry zapis audytowy?

Jednym z najczęstszych błędów jest zapisywanie wyłącznie końcowej odpowiedzi modelu. W przypadku agentów AI to zdecydowanie za mało. Ślad audytowy powinien obejmować cały przebieg operacji – od polecenia użytkownika aż po jej rzeczywisty rezultat.

1. Tożsamość użytkownika i agenta

System musi wiedzieć, który użytkownik uruchomił operację i pod jaką tożsamością działał agent AI. Agent nie powinien używać jednego wspólnego konta administratora do wszystkich czynności. Każdy krok powinien być przypisany do konkretnego polecenia, użytkownika i zestawu uprawnień.

2. Dane wejściowe i kontekst decyzji

Audyt powinien obejmować pierwotne polecenie, istotne instrukcje systemowe, wykorzystany kontekst oraz dokumenty, z których korzystał agent. Dane wrażliwe nie muszą być przy tym przechowywane w otwartej postaci. Można je anonimizować, maskować lub zastępować identyfikatorem.

3. Wybrane narzędzia i ich parametry

Jeżeli agent korzysta z tool callingu, zapis audytowy powinien zawierać nazwę narzędzia, przekazane parametry, wynik walidacji i uprawnienie, na podstawie którego operacja została dozwolona. Sam model językowy nie powinien decydować o tym, czy użytkownik może usunąć rekord lub wysłać płatność. Taką decyzję musi podejmować backend na podstawie jasnych i deterministycznych reguł.

4. Rezultat i zmiana stanu

Zapis powinien obejmować nie tylko to, co agent zamierzał zrobić, lecz również to, co rzeczywiście się wydarzyło. Przy zmianie danych warto zapisać poprzednią i nową wartość, czas operacji, stan przed wykonaniem i stan po jej zakończeniu.

5. Błędy, ponowienia i timeouty

Agentowe workflow często korzystają z mechanizmów retry. Jeżeli pierwsza próba się nie powiedzie, agent może powtórzyć operację. Audyt musi rozróżniać poszczególne próby i zapobiegać wielokrotnemu wykonaniu tej samej płatności, zamówienia lub wiadomości. Dlatego ważna jest idempotencja oraz jednoznaczny identyfikator każdej operacji.

Zatwierdzanie przez człowieka jako ostatnia warstwa ochrony

Nie każda operacja wymaga potwierdzenia przez człowieka. Jeśli agent wyszukuje publiczny dokument lub przygotowuje szkic odpowiedzi, automatyczne wykonanie może być w pełni uzasadnione. Sytuacja wygląda inaczej w przypadku operacji, które zmieniają dane, przesuwają pieniądze, publikują treści lub wpływają na prawa ludzi.

Przy krytycznych krokach system powinien stosować zasadę human-in-the-loop. Agent przygotowuje proponowaną operację, ale jej wykonanie oczekuje na zatwierdzenie przez uprawnioną osobę.

Osoba zatwierdzająca nie powinna widzieć jedynie przycisków „Zatwierdź” i „Odrzuć”. Powinna otrzymać czytelne podsumowanie:

• co agent chce zrobić,
• dlaczego proponuje tę operację,
• jakie dane zostaną zmienione,
• jakie ryzyko wiąże się z operacją,
• czy zmianę można cofnąć.

Samo zatwierdzenie również musi znaleźć się w audycie. Zapis powinien zawierać tożsamość osoby zatwierdzającej, czas, decyzję oraz ewentualny komentarz.

Jak śledzić decyzje AI bez udawania, że znamy jej myśli?

Podczas audytowania AI czasami pojawia się pomysł przechowywania kompletnego „rozumowania” modelu. Takie podejście nie zawsze jest wiarygodne ani konieczne. Dla audytu ważniejsze jest rejestrowanie obserwowalnych faktów i punktów decyzyjnych systemu.

Zamiast próbować zapisywać wewnętrzne myśli modelu, warto przechowywać:

• jakie możliwości miał agent,
• które narzędzie wybrał,
• jakie parametry zaproponował,
• jakich reguł backend użył podczas walidacji,
• które uprawnienie pozwoliło wykonać operację,
• jakie źródła i dokumenty wspierały wynik.

Taki ślad jest znacznie bardziej użyteczny podczas analizy incydentu niż długi tekst, w którym model po fakcie opisuje swoje uzasadnienie.

Analiza incydentu krok po kroku

Wyobraźmy sobie, że agent AI wysłał dokument do niewłaściwego klienta. Bez dobrego audytu analiza może trwać wiele dni. Zespół musi przeszukiwać aplikacje, bazy danych, wiadomości e-mail i logi systemowe, a mimo to nadal może nie wiedzieć, gdzie dokładnie powstał błąd.

Dzięki dobrej ścieżce audytowej incydent można odtworzyć znacznie dokładniej:

1. odnaleźć konkretne polecenie na podstawie identyfikatora operacji,
2. zweryfikować użytkownika, który uruchomił proces,
3. sprawdzić dane wejściowe i wykorzystany kontekst,
4. ustalić, dlaczego agent wybrał określony dokument i narzędzie,
5. sprawdzić wynik kontroli uprawnień,
6. ustalić, czy ktoś zatwierdził operację,
7. zidentyfikować dokładny punkt awarii,
8. zmienić reguły i utworzyć test zapobiegający powtórzeniu błędu.

Celem audytu nie jest więc wyłącznie znalezienie winnego. Dobry audyt pomaga systemowi uczyć się na incydentach i zwiększać niezawodność.

Najczęstsze błędy podczas audytowania agentów AI

Rejestrowanie zbyt małej liczby informacji

Zapis „agent wykonał operację” nie wystarcza. Bez informacji o danych wejściowych, narzędziu, parametrach i wyniku nie da się wiarygodnie odtworzyć incydentu.

Rejestrowanie wszystkiego, w tym danych wrażliwych

Drugą skrajnością jest przechowywanie pełnych promptów, danych osobowych, haseł, tokenów dostępu lub poufnych dokumentów. Logi audytowe muszą być chronione równie starannie jak dane produkcyjne.

Możliwość zmiany lub usunięcia śladu audytowego

Jeśli użytkownik lub sam agent może później zmienić zapis, audyt przestaje być wiarygodny. Logi powinny być chronione przed nieuprawnioną modyfikacją i objęte jasno określonym okresem przechowywania.

Jedna wspólna tożsamość dla wszystkich agentów

Jeśli wszystkie automatyzacje korzystają z jednego konta, nie można określić, który agent wykonał konkretną operację. Każdy agent i każde workflow powinny mieć własną tożsamość oraz minimalny niezbędny zakres uprawnień.

Brak planu reagowania na incydenty

Same logi nie pomogą, jeśli nikt nie wie, kto ma je analizować i co zrobić po wykryciu podejrzanej operacji. Firma potrzebuje jasnej procedury eskalacji, zatrzymania agenta, odebrania uprawnień i przywrócenia systemu.

Praktyczna lista kontrolna

• Każda operacja ma unikalny identyfikator.
• Znana jest tożsamość użytkownika i agenta wykonującego operację.
• Rejestrowany jest wybór narzędzia, parametry, wynik i błędy.
• Backend niezależnie sprawdza dane wejściowe i uprawnienia.
• Krytyczne operacje wymagają zatwierdzenia przez człowieka.
• Dane wrażliwe i secrets nie są przechowywane w logach w otwartej postaci.
• Zapisy audytowe są chronione przed zmianą i nieuprawnionym dostępem.
• Istnieje procedura zatrzymania agenta i analizy incydentu.
• Mechanizmy retry są idempotentne i nie tworzą duplikatów.
• Wyniki audytu są wykorzystywane do testowania i ulepszania systemu.

Naucz się praktycznie korzystać z AI

Osobom, które chcą rozpocząć pracę ze sztuczną inteligencją bez wcześniejszej znajomości programowania, oferujemy kurs Praktyczne wprowadzenie do sztucznej inteligencji. W ciągu jednego dnia uczestnicy poznają ChatGPT, DeepSeek, prompt engineering, wyszukiwanie i analizę informacji, Google Colab oraz trenowanie prostego modelu na własnych danych. Kurs obejmuje również przegląd możliwości narzędzi AI w AWS, ocenę dokładności modeli i optymalizację kosztów.

Oprócz kursów poświęconych sztucznej inteligencji oferujemy także inne szkolenia IT, w tym programowanie w językach PHP, Java oraz w wielu innych technologiach.

Najczęstsze pytania o audyt operacji AI

Czy należy rejestrować każdą odpowiedź AI?

Zakres logowania zależy od ryzyka systemu. W przypadku agentów mających dostęp do narzędzi firmowych szczególnie ważne jest rejestrowanie wykonanych operacji, użytych narzędzi, uprawnień i zmian danych.

Czy logi audytowe mogą zawierać pełne prompty?

Mogą, ale tylko wtedy, gdy jest to konieczne i bezpieczne. Dane wrażliwe, hasła i tokeny dostępu należy maskować albo całkowicie usuwać z logów.

Które operacje powinien zatwierdzać człowiek?

Przede wszystkim te, które mogą mieć istotny wpływ finansowy, prawny, bezpieczeństwa lub reputacji, na przykład płatności, usuwanie danych, publikowanie treści czy zmiany uprawnień użytkowników.