uilab:tokeny
Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revizePředchozí verze | |||
uilab:tokeny [25.10.2024 09:28] – Oprava tagů Michal Rada | uilab:tokeny [27.10.2024 17:50] (aktuální) – Michal Rada | ||
---|---|---|---|
Řádek 1: | Řádek 1: | ||
- | {{tag>pojmy edukace_ui}} | + | {{tag>pojem edukace_ui}} |
# Tokeny | # Tokeny | ||
Token je malá jednotka, kupříkladu jednotka textu při jeho sémantické analýze. Token není primárně ani slovo, věta či sousloví. Jde o lexikální jednotku, z níž se tvoří další prvky (třeba slova). | Token je malá jednotka, kupříkladu jednotka textu při jeho sémantické analýze. Token není primárně ani slovo, věta či sousloví. Jde o lexikální jednotku, z níž se tvoří další prvky (třeba slova). | ||
Pro odborníky: Token je nedělitelná jazyková jednotka [[lexikální dekompozice textu]] sloužící v UI jako primární jednotka pro postupné skládání výstupu, tak funguje [[generativní umělá inteligence]]. | Pro odborníky: Token je nedělitelná jazyková jednotka [[lexikální dekompozice textu]] sloužící v UI jako primární jednotka pro postupné skládání výstupu, tak funguje [[generativní umělá inteligence]]. |
uilab/tokeny.1729841304.txt.gz · Poslední úprava: 25.10.2024 09:28 autor: Michal Rada