{{tag>pojem edukace_ui}}
# Tokeny
Token je malá jednotka, kupříkladu jednotka textu při jeho sémantické analýze. Token není primárně ani slovo, věta či sousloví. Jde o lexikální jednotku, z níž se tvoří další prvky (třeba slova).

Pro odborníky: Token je nedělitelná jazyková jednotka [[lexikální dekompozice textu]] sloužící v UI jako primární jednotka pro postupné skládání výstupu, tak funguje [[generativní umělá inteligence]].