字句の構造

この言語の字句の構造は非常にシンプルで、学習しやすい。

字句の構造を理解することは、文法解析の基礎となる。

プログラミング言語の字句の構造は、トークン化の規則によって定義される。