字句単位

ベーシックで書かれたプログラムの文字列を字句単位に短縮化した、トークンと呼ばれる中間コードの仕様もまた、ファイルフォーマットと同様、十六進数でダンプして分析するしかない。

プログラミング言語では、キーワードや識別子は字句単位として扱われる。

自然言語処理では、文を字句単位に分割することが第一歩となる。

コンパイラは、ソースコードを字句単位に分解し、解析する。