uilab:tokeny
☑️ Schváleno 27.10.2024 17:50 od Michal Rada (verze: 3) | Schvalovatel: Michal Rada
Tokeny
Token je malá jednotka, kupříkladu jednotka textu při jeho sémantické analýze. Token není primárně ani slovo, věta či sousloví. Jde o lexikální jednotku, z níž se tvoří další prvky (třeba slova).
Pro odborníky: Token je nedělitelná jazyková jednotka Lexikální dekompozice textu sloužící v UI jako primární jednotka pro postupné skládání výstupu, tak funguje Generativní umělá inteligence.
uilab/tokeny.txt · Poslední úprava: 27.10.2024 17:50 autor: Michal Rada