TensorFlowとPythonを使ってStack Overflow質問データセットを効率的に構成する方法

TensorFlowは、Googleが提供するオープンソースの機械学習フレームワークです。Pythonと組み合わせて利用することで、各種アルゴリズムやディープラーニングアプリケーションの実装が可能になり、研究開発から本番運用まで幅広く活用されています。複雑な数学的演算を高速に処理できる最適化技術を備えており、その理由の一つが内部でNumPyと多次元配列を使用している点です。この多次元配列は「テンソル(tensors)」と呼ばれます。

TensorFlowは深層ニューラルネットワークの構築を強力にサポートしており、高いスケーラビリティを持ち、人気の高いデータセットも多数同梱されています。GPU計算に対応し、リソース管理を自動化するほか、豊富な機械学習ライブラリと充実したドキュメントが提供されています。深層ニューラルネットワークモデルの実行・学習を行い、データセットの特徴を予測するアプリケーションを構築できます。

Windows環境では、以下のコマンドで「tensorflow」パッケージをインストールできます。

pip install tensorflow

テンソルはTensorFlowにおける基本的なデータ構造であり、フロー図(「データフローグラフ」と呼ばれます)のエッジ(辺)をつなぐ役割を担います。テンソルの正体は多次元配列やリストであり、次の3つの主要な属性によって識別されます。

• ランク(Rank) − テンソルの次元数を表します。テンソルの階数、すなわち定義されたテンソルが持つ次元の数と捉えることができます。

• 型(Type) − テンソルの要素に関連付けられたデータ型を示します。1次元、2次元、あるいはn次元のテンソルがあり得ます。

• 形状(Shape) − 行数と列数を合わせたものです。

以降のコードはGoogle Colaboratory上で実行しています。Google Colab(Colaboratory)を利用すると、ブラウザ上でPythonコードを実行でき、事前設定は一切不要で、GPU(グラフィックス処理装置)にも無料でアクセスできます。ColaboratoryはJupyter Notebookを基盤として構築されています。

Stack Overflowの質問データセットのようなテキスト分類タスクでは、tf.dataの入力パイプラインを適切に構成することで、学習時のパフォーマンスを大きく向上させられます。ここでは、キャッシュとプリフェッチを組み合わせてデータセットを最適化する方法を紹介します。

コード例

以下がコードスニペットです。

AUTOTUNE = tf.data.experimental.AUTOTUNE
print("configure_datasetメソッドを定義します")
def configure_dataset(dataset):
    return dataset.cache().prefetch(buffer_size=AUTOTUNE)

print("訓練用データセットに対して関数を呼び出します")
binary_train_ds = configure_dataset(binary_train_ds)
print("検証用データセットに対して関数を呼び出します")
binary_val_ds = configure_dataset(binary_val_ds)
print("テスト用データセットに対して関数を呼び出します")
binary_test_ds = configure_dataset(binary_test_ds)

int_train_ds = configure_dataset(int_train_ds)
int_val_ds = configure_dataset(int_val_ds)
int_test_ds = configure_dataset(int_test_ds)

コード引用元 − https://www.tensorflow.org/tutorials/load_data/text

出力結果

configure_datasetメソッドを定義します
訓練用データセットに対して関数を呼び出します
検証用データセットに対して関数を呼び出します
テスト用データセットに対して関数を呼び出します

解説

• データ読み込みの際に入力や出力がブロックされないよう、cacheとprefetchという2つのメソッドを組み合わせて定義することが重要です。

• 「cache」メソッドは、ディスクから読み込んだデータをメモリ上に保持し続けます。最初のエポック以降はディスクアクセスが不要になるため、読み込みが高速化されます。

• これにより、トレーニング中にデータの読み込みがボトルネックになるのを防ぎます。

• 「prefetch」メソッドは、トレーニング中のデータ前処理とモデル実行をオーバーラップさせて並行処理します。buffer_sizeにAUTOTUNEを指定すると、実行環境に応じてバッファサイズが自動的に調整されるため、ハードウェアごとの手動チューニングが不要になります。