Токен

Матеріал з Вікіпедії — вільної енциклопедії.
Версія від 19:41, 14 січня 2017, створена Brunei (обговорення | внесок)
(різн.) ← Попередня версія | Поточна версія (різн.) | Новіша версія → (різн.)
Перейти до навігації Перейти до пошуку

Токеноб'єкт, що утворюється із лексеми в процесі лексичного аналізу.

У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.

Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.

Приклади
тип токена приклади лексем опис
string "Мова \"C\"" рядкова стала
id Name01 ідентифікатор
relop >= операції відношення
num 13 число