記号トークン

言語理論において、抽象的な記号の型と、実際に発信された個別の記号トークンを区別して考える。

「この文章の中に『猫』という単語が3回出てくるなら、記号トークンは3つだね」

コンピュータがソースコードを読み込む際、まずは文字列を記号トークンの列に分解する。