Токен

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Токеноб'єкт, що утворюється із лексеми в процесі лексичного аналізу.

У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.

Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.

Приклади
тип токена приклади лексем опис
string "Мова \"C\"" рядкова стала
id Name01 ідентифікатор
relop >= операції відношення
num 13 число