C言語のトークンとは？種類と具体例を初心者向けに解説

C言語におけるトークン（token）とは、プログラムを構成する意味を持つ最小単位であり、それ以上分割できない要素のことです。コンパイラはソースコードを読み込む際に、まずこのトークン単位へ分解（字句解析）してから処理を行います。

トークンの種類

C言語のトークンは、主に以下の5つに分類されます。

• 識別子（Identifier）：関数名、変数名、配列名、構造体名など、プログラマが自由に命名できる名前のことです。

• 演算子（Operator）：論理演算・算術演算・関係演算などの処理をコンパイラに指示する記号です。例として「+」「-」「*」「==」などがあります。

• 特殊文字（Special Characters）：英字および数字以外のすべての文字を指します。カッコやセミコロンなどが該当します。

• 定数（Constants）：プログラム実行中に値を変更できない固定値のことです。数値リテラルなどがこれにあたります。

• キーワード／予約語（Keywords / Reserved Words）：「int」「if」「while」など、あらかじめ特別な意味が定義された語句です。変数名などとして使用することはできません。

サンプルコード

以下は、C言語でのトークンの使用例を示すプログラムです。

#include<stdio.h>
int main(){
    int p, q, result;
    p = 2, q = 3;
    result = p + q;
    printf("result = %d \n", result);
}

コード内のトークンの分類

このプログラムには、次のようなトークンが含まれています。

• main … 識別子
• {、}、(、) … 区切り文字（デリミタ）
• int … キーワード（予約語）
• p、q、result … 識別子

このように、main、{、}、(、)、int、p、q、result といった個々の要素すべてが「トークン」と呼ばれます。プログラム全体は、こうしたトークンの組み合わせによって構成されているのです。