Tokeny, Embeddings a Context Window: Jak AI skutečně „vidí“ text

Co jsou tokeny, embeddings a context window?

Když napíšete AI modelu otázku, nevidí ji tak, jak ji vidíte vy. Nečte slova, nerozpoznává věty – ve skutečnosti nemá ani ponětí o „písmenech“ v lidském smyslu. Místo toho pracuje se třemi klíčovými koncepty, které rozhodují o tom, čemu vůbec dokáže „rozumět“: tokeny, embeddings a context window.

Představte si to takto: musíte se naučit číst zcela nový jazyk, který nemá abecedu, ale skládá se z tisíců malých symbolů. Přesně takto AI „vidí“ váš text – a právě tento neviditelný proces v pozadí rozhoduje o tom, jestli vám dokáže odpovědět inteligentně, nebo se „ztratí“ uprostřed rozhovoru.

Proč je toto praktické pochopení důležité?

Pochopení tokenů, embeddings a context window není jen technická zajímavost – přímo ovlivňuje, jak efektivně s AI pracujete:

• Cenu používání AI: Většina AI služeb účtuje poplatky právě podle počtu tokenů, ne podle slov či znaků.
• Délku konverzace: Context window určuje, jak dlouho si model „pamatuje“ váš rozhovor, než začne zapomínat jeho začátek.
• Kvalitu porozumění: Embeddings jsou důvodem, proč model chápe, že „pes“ a „štěně“ souvisejí, i když jde o různá slova.
• Efektivitu promptů: Pokud víte, jak model „myslí“, dokážete formulovat dotazy tak, abyste dostali přesnější odpovědi.

Pojďme se tedy podívat na každý z těchto tří konceptů podrobněji – slibujeme, že to bude překvapivě fascinující.

Tokeny, embeddings a context window do hloubky

1. Tokeny: atomy jazyka pro AI

Token je nejmenší jednotka textu, se kterou model pracuje. Nemusí jít o celé slovo – často je to jen část slova, slabika nebo dokonce jediný znak. Slovo „nepředvídatelnost“ se tak může rozdělit na několik menších tokenů, zatímco krátké běžné slovo jako „a“ zůstane jedním tokenem. Model tedy nečte věty, ale dlouhé sekvence těchto očíslovaných „kousků“ jazyka.

Proč je to důležité: Přesně tyto tokeny se počítají při zpracování každé vaší zprávy – a právě proto delší nebo složitější text „zabere“ více výpočetního prostoru i peněz.

2. Embeddings: když se slova stanou souřadnicemi ve vesmíru významů

Embedding je způsob, jakým model přemění každý token na dlouhý seznam čísel – vektor – který reprezentuje jeho význam v mnohorozměrném prostoru. Zní to abstraktně, ale představte si obrovskou mapu, kde slova s podobným významem leží blízko sebe. „Král“ a „královna“ budou na této mapě sousedé, zatímco „král“ a „banán“ budou vzdálené na míle daleko.

Proč je to fascinující: Díky embeddings model nechápe slova izolovaně, ale v kontextu jejich vzájemných vztahů – právě proto dokáže rozpoznat metafory, synonyma i jemné nuance jazyka.

3. Context window: krátkodobá paměť modelu

Context window je maximální množství tokenů, které model dokáže najednou „vidět“ a zpracovat – zahrnuje váš dotaz, celou předchozí konverzaci i generovanou odpověď. Pokud se rozhovor natáhne nad tento limit, nejstarší části textu jednoduše „vypadnou“ z paměti modelu, jako by nikdy neexistovaly.

Proč na tom záleží: Moderní modely mají context window sahající od desítek tisíc až po statisíce tokenů, což umožňuje analyzovat celé knihy najednou – ale stále jde o konečný prostor, který je třeba mít na paměti při dlouhých konverzacích.

4. Jak tyto tři koncepty spolupracují

Představte si to jako řetěz: text se nejprve rozseká na tokeny, každý token se přemění na embedding nesoucí jeho význam, a celá tato sekvence embeddingů se vejde do context window, v rámci kterého model „přemýšlí“ a generuje odpověď.

Proč se učit o AI s námi?

Pokud vás zajímá, co se skrývá pod kapotou moderních AI nástrojů, a chcete tomu opravdu rozumět místo slepého „zkoušení a experimentování“, nabízíme vám prezenční i online školení zaměřená na principy umělé inteligence a práci s jazykovými modely.

Kromě AI tématu nabízíme i klasické programátorské kurzy, například v jazycích PHP nebo Java. S námi pochopíte technologii, která dnes stojí za většinou moderních digitálních nástrojů.

Časté otázky o tokenech, embeddings a context window

1. Je jeden token roven jednomu slovu?

Ne, jedno slovo může tvořit více tokenů, zejména pokud je dlouhé, neobvyklé nebo v jiném jazyce, než na jaký byl model primárně trénován.

2. Co se stane, když překročím context window?

Model ztratí přístup k nejstarší části konverzace – prakticky „zapomene“ na to, co jste řekli na začátku rozhovoru.

3. Jsou embeddings jedinečné pro každý model?

Ano, každý model si vytváří vlastní „prostor významů“ během trénování, takže embeddings z různých modelů nejsou mezi sebou přímo porovnatelné.

Top 5 zajímavých informací o tokenech a context window

1. Anglický text má v průměru méně tokenů než český: Modely jsou často trénovány převážně na angličtině, takže jiné jazyky se někdy dělí na více tokenů.
2. Emoji a speciální znaky spotřebují překvapivě hodně tokenů: Některé symboly se rozpadnou na více menších jednotek.
3. Největší context windows dnes zvládnou statisíce tokenů: To odpovídá celým knihám najednou vloženým do jednoho rozhovoru.
4. Embeddings se dají matematicky „sčítat“: Slavný příklad je vektor „král“ minus „muž“ plus „žena“, který se přiblíží k vektoru „královna“.
5. Cena za používání AI se počítá v tokenech, ne ve znacích: Proto mohou být krátké, ale „exotické“ texty dražší, než byste čekali.