Pythonの辞書（dict）のメモリ使用量の仕組みを徹底解説

Pythonの辞書（dict）は、内部的に「バケット」と呼ばれる領域の集合体として実装されています。この記事では、辞書がどのようにメモリを消費しているのか、その内部構造と動作の仕組みをわかりやすく解説します。

バケットの内部構造

Pythonの辞書を構成する各バケットには、以下の3つの情報が格納されています。

• ハッシュコード：現在格納されているオブジェクトのハッシュ値。衝突解決の戦略上、バケットの位置だけからは予測できない値になっています。
• キーオブジェクトへのポインタ：辞書のキーとなっているオブジェクトを参照します。
• 値オブジェクトへのポインタ：キーに対応する値のオブジェクトを参照します。

バケット1つあたりのメモリサイズ

これらの情報を合計すると、バケット1つあたり最低でも以下のメモリを消費します。

• 32ビット環境：12バイト以上
• 64ビット環境：24バイト以上

この差は、主にポインタのサイズが環境によって異なることに起因しています。64ビット環境ではポインタが8バイトになるため、全体のメモリ消費量も大きくなります。

辞書のリサイズ（サイズ変更）の仕組み

辞書は、まず8個の空のバケットから始まります。そして、登録された要素数が容量の上限に達するたびに、バケット数が2倍に拡張されることで自動的にリサイズされます。

この動的な拡張機構のおかげで、辞書は要素数の増減に柔軟に対応できます。一方で、実際の要素数よりも多くのメモリを事前に確保している状態になるため、大量のデータを扱う場合はメモリ使用量に注意が必要です。

実際のメモリ使用量を確認する方法

辞書の実際のメモリ使用量は、標準ライブラリの sys.getsizeof() を使って簡単に確認できます。

import sys

d = {}
print(sys.getsizeof(d))  # 空の辞書のサイズ

d['key'] = 'value'
print(sys.getsizeof(d))  # 要素追加後のサイズ

要素を追加していくと、リサイズのタイミングでサイズが段階的に増えていく様子が確認できます。パフォーマンスやメモリ効率が重要なアプリケーションでは、こうした辞書の内部挙動を理解しておくと役立ちます。