TensorFlowとPythonでStack Overflowの質問データセットを準備する方法

TensorFlowは、Googleが提供する機械学習フレームワークです。オープンソースとして公開されており、Pythonと組み合わせて、アルゴリズムの実装やディープラーニングアプリケーションの開発など、さまざまな用途に利用できます。研究目的から本番環境での運用まで、幅広い場面で採用されているフレームワークです。

Windows環境では、以下のコマンドを実行するだけで「tensorflow」パッケージをインストールできます。

pip install tensorflow

テンソル（Tensor）はTensorFlowにおける基本的なデータ構造で、データフロー図の各ノードをつなぐ役割を担います。このデータフロー図は「データフローグラフ」と呼ばれます。テンソルの正体は、多次元配列あるいはリストです。なお、本記事のコードはGoogle Colaboratory上で実行しています。Google Colab（Colaboratory）を利用すると、ブラウザ上でPythonコードを実行でき、事前の環境設定は一切不要です。さらに、GPU（Graphics Processing Unit）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されたサービスです。以下がコードスニペットです。

サンプルコード

VOCAB_SIZE = 10000
print("テキストの前処理を開始します")
binary_vectorize_layer = TextVectorization(
    max_tokens=VOCAB_SIZE,
    output_mode='binary')
MAX_SEQUENCE_LENGTH = 250
int_vectorize_layer = TextVectorization(
    max_tokens=VOCAB_SIZE,
    output_mode='int',
    output_sequence_length=MAX_SEQUENCE_LENGTH)

コード出典：https://www.tensorflow.org/tutorials/load_data/text

出力結果

テキストの前処理を開始します

解説

• データの標準化・トークン化・ベクトル化は、「TextVectorization」レイヤーによってまとめて処理されます。

• 標準化では、テキストの前処理を行い、句読点やHTML要素などを取り除きます。

• トークン化では、文を空白文字で分割し、単語単位に分解します。

• ベクトル化では、トークンを数値へ変換します。これにより、ニューラルネットワークが入力データを理解できるようになります。

• binaryモードのモデルでは、Bag-of-Words（単語の出現有無を表現する手法）を用いてモデルを構築します。

ここで、VOCAB_SIZE = 10000は語彙サイズの上限を、MAX_SEQUENCE_LENGTH = 250は1つのシーケンス（系列）の最大長を意味します。binaryモードは単語の有無を表現するのに適しており、intモードは単語の並び順を保持したまま数値列へ変換できるため、RNNなど順序情報を扱うモデルとの相性が良いのが特徴です。