CPUキャッシュの仕組みとは？コンピュータの高速化を支える重要技術を解説

1980年代、マイクロプロセッサの処理速度はメモリのアクセス速度を大きく引き離す勢いで向上していきました。システム全体の効率を高めるには、メモリへのアクセス速度を改善する何らかの対策が不可欠であることは、すぐに明らかになりました。この処理速度とメモリ速度のギャップこそが、キャッシュ開発のきっかけとなったのです。

キャッシュとは何か

キャッシュの発明は、コンピュータ科学の歴史における最も重要な出来事の一つとされています。では、キャッシュとは一体どのようなもので、どのように機能するのでしょうか。

端的に言えば、キャッシュとは高速なメモリの一種です。特定のタスクを実行する際に、コンピュータが次に必要とする可能性が高い命令を格納しておく、小さなメモリ領域です。コンピュータは複雑なアルゴリズムとプログラムコードの解析に基づいて、必要な情報をキャッシュへ読み込みます。キャッシュシステムを搭載する目的は、CPUが必要なデータに、必要な順序で、妨げられることなくアクセスできる状態を維持することにあります。

この仕組みを理解するには、コンピュータに3種類のメモリが存在することを知っておく必要があります。まず、ハードディスクやSSDといったストレージです。これはマシンの中で最も大容量の記憶領域です。次にRAM（ランダムアクセスメモリ）があり、ストレージより高速ですが容量は小さくなります。そして最後に、CPU内部に搭載されたメモリユニット、すなわちキャッシュです。キャッシュはすべてのメモリの中で最も高速に動作します。

プログラムが起動すると、コードに含まれる一連の命令の実行が始まります。その情報はまずRAMに読み込まれ、その後CPUへと渡されます。命令を効率よく実行するためには、CPUには高速なメモリが欠かせません。そこで活躍するのがキャッシュというわけです。

キャッシュの階層構造：L1・L2・L3

CPU内部には、L1、L2、L3という3つのレベルのキャッシュが存在します。さらにL4キャッシュの研究開発を進める企業もあります。

L1キャッシュは、3つの中で最も高速かつ小容量のキャッシュです。CPUが演算を行う際に必要となる可能性が最も高いデータを格納しています。容量は通常256KB前後ですが、1MBに達する製品もあります。

この小さなキャッシュは、命令キャッシュとデータキャッシュという二つの役割を担っています。命令キャッシュはCPUが実行すべき演算内容を管理し、データキャッシュはその演算の対象となる情報を保持します。

次の階層がL2キャッシュです。L2はL1より低速ですが、より多くの情報を保持できます。コンピュータが次にアクセスする可能性の高いデータを、256KB〜8MB程度格納します。

最後がL3キャッシュです。最大かつ最も低速なキャッシュであり、4MB〜50MBものデータを保存できます。

キャッシュの動作原理

コンピュータ上でプログラムが起動すると、データはRAMからL3キャッシュへ、続いてL2へ、そして最終的にL1へと流れていきます。プログラムの実行中、CPUは処理に必要な情報を探しますが、その探索はL1キャッシュから始まり、下位の階層へと進んでいきます。CPUが必要な情報を見つけられれば、それは「キャッシュヒット」と呼ばれます。反対に見つからなければ「キャッシュミス」となり、コンピュータは他の場所を探して目的の情報を取得しなければなりません。

レイテンシ（待ち時間）は、コンピュータの効率を左右する重要な要素です。レイテンシとは、ある情報を取得するまでにかかる時間のことです。L1キャッシュは最も高速であるため、レイテンシも最小限に抑えられます。しかしキャッシュミスが発生すると、コンピュータは複数のキャッシュ層を順に探し回ることになり、レイテンシが増加してしまいます。

近年のコンピュータでは、CPUトランジスタの微細化が進み、キャッシュを基板上に直接搭載できるスペースが確保できるようになりました。キャッシュを物理的にCPUの近くに配置することで、レイテンシはさらに低減されています。

キャッシュはパソコンの販売時にはあまり強調されませんが、スペックを比較するうえで注目すべきポイントです。高速なキャッシュほどレイテンシが低く、アプリケーションの動作が速く、効率的になります。