C言語のトークンとは？6つの種類とサンプルコードでわかりやすく解説

トークンとは

トークン（token）とは、コンパイラにとって意味を持つ、プログラムを構成する最小単位のことです。コンパイラはソースコードをこの最小単位へと分割し、生成されたトークンを基にコンパイルの各段階へと処理を進めていきます。

トークンの種類

C言語のトークンは、主に以下の6種類に分類されます。

• キーワード（予約語）：int、return など、言語仕様によって意味が定められた語
• 識別子：変数名や関数名など、開発者が自由に命名できる名前
• 定数：10、3.14 など、プログラム中で値が変わらない固定値
• 文字列：ダブルクォート（" "）で囲まれた文字の並び
• 特殊記号：{ }、( )、; など、構文を区切るための記号
• 演算子：+、-、*、/ など、演算を行うための記号

サンプルプログラム

以下は、識別子・キーワード・変数などを用いたC言語のプログラム例です。

#include <stdio.h>
int main(){
    int a,b,c;
    printf("enter a and b values: \n");
    scanf("%d%d",&a,&b);
    c=a*b;
    printf("value of c=%d",c);
    return 0;
}

実行結果

上記のプログラムを実行すると、次のような出力が得られます。

enter a and b values:4 5
value of c=20

プログラム内のトークン解析

上記のプログラムに登場する各要素は、次のように分類できます。

• main … 識別子（関数名）
• int … キーワード（予約語）
• { } … 特殊記号（デリミタ／区切り記号）
• a, b, c … 変数（識別子）

これらすべてを総称して「トークン」と呼びます。コンパイラはこれらのトークンを一つひとつ認識しながら、構文解析や意味解析といった後続の処理へと進んでいくのです。