Токен

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Токеноб'єкт, що утворюється із лексеми в процесі лексичного аналізу.

У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.

Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.

Приклади
тип токена приклади лексем опис
string "Мова \"C\"" рядкова стала
id Name01 ідентифікатор
relop >= операції відношення
num 13 число


Інформаційні технології Це незавершена стаття про інформаційні технології.
Ви можете допомогти проекту, виправивши або дописавши її.