C++のトークンとは？意味と種類をわかりやすく解説

C++プログラミングにおける「トークン（token）」とは、コンパイラにとって意味を持つ、プログラムを構成する最小の要素のことです。C++のソースコードは、コンパイルの過程でこのトークン単位に分解され、解析されます。

トークンの基本的な役割

トークンは、人間が文章を「単語」の集まりとして読むように、C++のソースコードを意味のある最小単位に分割したものです。これらのトークンが連なったものが「翻訳単位（translation unit）」となり、コンパイラはこの単位をもとにプログラムを解析・変換していきます。通常、トークン同士は空白文字（ホワイトスペース）で区切られます。

C++の主なトークンの種類

C++のパーサー（構文解析器）が認識するトークンには、以下のような種類があります。

• 識別子（identifiers）：変数名や関数名など、プログラマーが独自に定義する名前
• キーワード（keywords）：int、return、class など、言語仕様で定義された予約語
• リテラル（literals）：42、'a'、"text" のような定数値そのもの
• 演算子（operators）：+、-、*、= などの計算や操作を表す記号
• 区切り子・句読点（punctuators）：;、{、}、(、) など、構文を区切る記号

プリプロセッシングトークンとは

コンパイルの前段階である「プリプロセス」では、専用のプリプロセッシングトークンが使用されます。#include、#define、#ifdef などのディレクティブがその代表例です。

プリプロセッシングトークンのカテゴリには、ヘッダー名、識別子、プリプロセッシング数値、文字リテラル、文字列リテラルなどがあり、さらに他のどのカテゴリにも一致しない文字もこれに含まれます。また、文字リテラルや文字列リテラルには、C++11以降で利用可能な「ユーザー定義リテラル」も存在します。プリプロセッシングトークンは、ホワイトスペースまたはコメントによって区切ることができます。

プリプロセス段階で生成されたトークン列は、最終的にコンパイラへ渡され、本格的な構文解析が行われます。

トークンの分割ルール：最長一致

パーサーが入力ストリームからトークンを切り出す際には、「最長一致（maximal munch）」というルールが適用されます。これは、入力文字を左から右へ走査し、作成できる限り最も長いトークンを1つとして切り出していく方式です。

例えば a+++b という式は、a + ++b ではなく (a++) + b と解釈されます。これは、++ を可能な限り長い1つのトークンとして認識するためです。このようなルールを理解しておくと、意図しない挙動を防ぐことにつながります。

まとめ

トークンはC++プログラムの最小構成要素であり、識別子・キーワード・リテラル・演算子・区切り子などの種類があります。コンパイル前のプリプロセスでは専用のトークンが使われ、トークンの切り出しには最長一致のルールが適用されます。トークンの概念を正しく理解することは、コンパイラの動作を把握し、バグの少ないコードを書くうえで重要な基礎知識となります。