pojmy-edukace_ui

Lexikální dekompozice textu

V automatizovaném zpracování jazyků a textu se využívá rozebrání vstupního textu a výstupního textu do určitých částí, které na sebe nějak logicky mají navazovat. Třeba ve zdrojovém kódu v programovacím jazyce jsou to funkce, v kódu HTML jsou to jednotlivé značky, v běžném textu jsou to odstavce, věty, slova a Tokeny.

Ukázka skladby textu (třeba pro umělou inteligenci) je

Text » Odstavec » Věta » Slovo » Token

Při dekompozici se buď řízeně (na základě struktury jako sémantický model jazyka), nebo neřízeně (vlastní analýzou Generativní umělá inteligence) rozebírá vstupní text a dle určitých pravidel se dekomponuje až na jednotlivé Tokeny, se kterými se dál pracuje.