В языке имеется несколько типов лексем: идентификаторы, ключевые слова, литералы, знаки операций и пунктуация. Пробельные символы и комментарии лексемы не образуют, наоборот они являются для них разделителями.
token:
identifier
keyword
integer-literal
real-literal
character-literal
string-literal
operator-or-punctuator
См.также: