uilab:lexikalni-dekompozice-textu
Koncept | Schvalovatel: Michal Rada
Lexikální dekompozice textu
V automatizovaném zpracování jazyků a textu se využívá rozebrání vstupního textu a výstupního textu do určitých částí, které na sebe nějak logicky mají navazovat. Třeba ve zdrojovém kódu v programovacím jazyce jsou to funkce, v kódu HTML jsou to jednotlivé značky, v běžném textu jsou to odstavce, věty, slova a Tokeny.
Ukázka skladby textu (třeba pro umělou inteligenci) je
Text » Odstavec » Věta » Slovo » Token
Při dekompozici se buď řízeně (na základě struktury jako sémantický model jazyka), nebo neřízeně (vlastní analýzou Generativní umělá inteligence) rozebírá vstupní text a dle určitých pravidel se dekomponuje až na jednotlivé Tokeny, se kterými se dál pracuje.
uilab/lexikalni-dekompozice-textu.txt · Poslední úprava: 21.10.2024 17:45 autor: Michal Rada