Když AI dostane přístup k vašim systémům: Jak funguje tool calling a kde se může všechno pokazit

Co se stane, když AI přestane jen „mluvit“ a začne jednat?

Doteď jste možná vnímali AI jako chytrého partnera na konverzaci – někoho, kdo vám napíše text nebo odpoví na otázku. Moderní jazykové modely ale dnes dokážou mnohem víc: dokážou si samy objednat let, poslat e-mail, upravit záznam v databázi nebo spustit platbu. Tento skok od „mluvení“ k „jednání“ se nazývá tool calling (volání nástrojů) a je jádrem téměř každého moderního AI agenta.

Zní to jako sci-fi sen o digitálním asistentovi, který za vás vyřídí všechno – ale právě tato schopnost jednat ve vašich systémech přináší i zcela novou kategorii rizik, se kterými se firmy dříve nikdy nesetkaly. Pojďme se podívat, jak tool calling funguje pod kapotou a proč vyžaduje mimořádnou opatrnost.

Proč je toto téma tak důležité právě teď?

Tool calling mění AI z pasivního asistenta na aktivního účastníka vašich firemních procesů, což má zásadní dopad na:

• Bezpečnost dat: AI s přístupem k databázi může omylem, nebo pod vlivem manipulace, vyzradit citlivé informace.
• Integritu systémů: Nesprávně nebo škodlivě vyvolaná akce může smazat data, poslat nesprávnou platbu nebo narušit produkční prostředí.
• Důvěryhodnost vůči zákazníkům: Jeden špatně spravovaný AI agent dokáže poškodit důvěru, kterou firma budovala roky.
• Soulad s regulacemi: Autonomně jednající AI přináší nové otázky odpovědnosti a auditovatelnosti, které musí řešit governance.

Pojďme se tedy podívat na to, jak tool calling technicky funguje – a kde přesně se celý proces dokáže pokazit.

Tool calling do hloubky: jak to funguje a kde hrozí nebezpečí

1. Jak tool calling funguje technicky

Model dostane popis dostupných „nástrojů“ – například funkce pro vyhledání objednávky, odeslání e-mailu nebo zápis do databáze – spolu s informací, jaké parametry má každý nástroj očekávat. Na základě vašeho požadavku se model rozhodne, který nástroj (pokud vůbec nějaký) použít, vygeneruje potřebné parametry a vrátí tento „záměr“ aplikaci. Až aplikace samotná pak nástroj skutečně spustí a výsledek pošle zpět modelu ke zpracování.

2. Prompt injection: když útočník mluví místo vás

Jedno z největších rizik představuje prompt injection – situace, kdy škodlivý text (například skrytý v e-mailu, webové stránce či dokumentu, který model zpracovává) obsahuje skryté instrukce. Pokud model tyto instrukce „poslechne“ místo původních pokynů od uživatele, může například omylem odeslat citlivá data útočníkovi nebo provést neautorizovanou akci.

3. Nadměrná oprávnění: proč méně znamená bezpečněji

Běžnou chybou je dát AI agentovi širší oprávnění, než skutečně potřebuje pro danou úlohu. Pokud má agent na zodpovídání jednoduchých otázek přístup i k mazání záznamů nebo k finančním transakcím, jediná chyba v logice nebo útok dokáže způsobit neúměrně velkou škodu. Zásada nejmenšího oprávnění je zde stejně důležitá jako u klasické kybernetické bezpečnosti.

4. Chybějící lidský dohled u kritických akcí

Ne každá akce by měla proběhnout automaticky. U citlivých operací – jako jsou platby, mazání dat nebo komunikace se zákazníky – je rozumné vložit do procesu bod, kde akci ještě před provedením potvrdí člověk. Tento princip se nazývá human-in-the-loop a výrazně snižuje riziko nezvratných chyb.

5. Logování a auditovatelnost: když se něco pokazí, musíte vědět proč

Dobře navržený systém tool callingu podrobně zaznamenává každou akci – co model navrhl, jaké parametry použil a co se reálně provedlo. Bez tohoto záznamu je téměř nemožné zpětně zjistit, proč se něco pokazilo, a ještě těžší je to prokázat při auditu nebo regulační kontrole.

Naučte se AI prakticky – i s ohledem na bezpečnost

Pokud chcete pochopit, jak AI nástroje skutečně fungují, a naučit se je zodpovědně používat bez potřeby programátorských znalostí, nabízíme jednodenní kurz „Praktický úvod do umělé inteligence (AI) bez předchozích znalostí“. Naučíte se pracovat s OpenAI a Deepseek, vyzkoušíte si prompt engineering na reálných příkladech, natrénujete si vlastní AI model bez psaní kódu pomocí DataRobot a Google Colab a jako bonus nahlédnete i do AI nástrojů na AWS.

Kromě kurzů zaměřených na umělou inteligenci nabízíme i širokou škálu dalších IT školení – například programování v PHP, Javě a v mnoha dalších jazycích a technologiích. Ať už směřujete kamkoli ve své IT kariéře, u nás si určitě najdete vhodný kurz.

Časté otázky o tool callingu a bezpečnosti AI

1. Dá se prompt injection úplně eliminovat?

Úplná eliminace je v současnosti velmi náročná, ale důsledné oddělení důvěryhodných a nedůvěryhodných vstupů spolu s přísnými oprávněními riziko výrazně snižuje.

2. Musí být u každé akce AI agenta přítomen člověk?

Ne, ale u nevratných nebo finančně citlivých akcí se human-in-the-loop důrazně doporučuje.

3. Je tool calling vhodný i pro menší firmy?

Ano, ale i menší firmy by měly od začátku dbát na princip nejmenšího oprávnění a důsledné logování akcí.

Top 5 zajímavých informací o tool callingu

1. Prompt injection lze skrýt i v obrázku či metadatech souboru: Útok nemusí být na první pohled viditelný v textu.
2. Většina velkých bezpečnostních incidentů s AI agenty souvisí s nadměrnými oprávněními: Ne se samotnou „inteligencí“ modelu.
3. Human-in-the-loop dokáže zachytit chyby, které by jinak zůstaly nepovšimnuty: I zkušení AI inženýři ho doporučují pro kritické operace.
4. Logování akcí AI agenta je dnes součástí mnoha regulačních požadavků: Zejména ve finančním a zdravotnickém sektoru.
5. Firmy čím dál častěji zavádějí samostatné governance týmy pro AI agenty: Podobně, jako to už dávno dělají pro klasickou kybernetickou bezpečnost.