{{pojmy edukace_ui}}
# Lexikální dekompozice textu
V automatizovaném zpracování jazyků a textu se využívá rozebrání vstupního textu a výstupního textu do určitých částí, které na sebe nějak logicky mají navazovat. Třeba ve zdrojovém kódu v programovacím jazyce jsou to funkce, v kódu HTML jsou to jednotlivé značky, v běžném textu jsou to odstavce, věty, slova a [[tokeny]].

Ukázka skladby textu (třeba pro umělou inteligenci) je

Text >> Odstavec >> Věta >> Slovo >> Token

Při dekompozici se buď řízeně (na základě struktury jako [[sémantický model jazyka]]), nebo neřízeně (vlastní analýzou [[generativní umělá inteligence]]) rozebírá vstupní text a dle určitých pravidel se dekomponuje až na jednotlivé [[tokeny]], se kterými se dál pracuje.