TensorFlowとPythonを使ってベクトル化されたテキストデータのサンプルを表示する方法

TensorFlowはGoogleが提供している機械学習フレームワークです。オープンソースとして公開されており、Pythonと組み合わせて使用することで、各種アルゴリズムやディープラーニングアプリケーションなどを実装できます。研究用途から本番環境まで幅広く活用されています。

TensorFlowのインストール

Windows環境では、以下のコマンドを実行することで「tensorflow」パッケージをインストールできます。

pip install tensorflow

Tensorとは何か

Tensor（テンソル）はTensorFlowで使われる基本的なデータ構造です。フロー図におけるエッジ（辺）をつなぐ役割を担っており、このフロー図は「データフローグラフ」と呼ばれます。テンソルの実体は、多次元配列あるいはリストにほかなりません。

使用するデータセットについて

今回はイリアス（Illiad）のデータセットを使用します。このデータセットには、William Cowper、Edward（Derby伯爵）、Samuel Butlerによる3つの翻訳作品のテキストデータが含まれています。モデルは、1行のテキストが与えられたときに、それがどの翻訳者によるものかを識別できるように訓練されます。

使用するテキストファイルは前処理済みであり、文書のヘッダー・フッター、行番号、章タイトルなどは削除されています。

なお、以下のコードはGoogle Colaboratory上で実行しています。Google Colab（Colaboratory）を利用すると、ブラウザ上でPythonコードを実行でき、事前の設定は一切不要で、GPU（グラフィックス処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。

コード例

print("Look at sample data after processing it")
example_text, example_label = next(iter(all_labeled_data))

print("The sentence is : ", example_text.numpy())
vectorized_text, example_label = preprocess_text(example_text, example_label)

print("The vectorized sentence is : ", vectorized_text.numpy())
print("Run the pre-process function on the data")

all_encoded_data = all_labeled_data.map(preprocess_text)

コード出典：https://www.tensorflow.org/tutorials/load_data/text

実行結果

Look at sample data after processing it
The sentence is : b'But I have now both tasted food, and given'
The vectorized sentence is : [ 20 21 58 49 107 3497 909 2 4 540]
Run the pre-process function on the data

解説

• データがベクトル化されると、すべてのトークンは整数値へと変換されます。

• トークンを整数に変換するのは、モデルが入力として与えられたデータを解釈・処理できるようにするためです。