KerasでStack Overflowの質問タグ予測用データセットをダウンロード・探索する方法

TensorFlowは、Googleが提供する機械学習フレームワークです。オープンソースとして公開されており、Pythonと組み合わせてアルゴリズムやディープラーニングアプリケーションなどを実装するために広く利用されています。研究用途から本番環境まで幅広い場面で採用されており、複雑な数学的演算を高速に処理するための最適化技術を備えています。

これはTensorFlowがNumPyと多次元配列を基盤としているためです。この多次元配列は「テンソル」とも呼ばれます。このフレームワークは深層ニューラルネットワークの構築をサポートしており、高いスケーラビリティを持ち、多くの人気データセットが付属しています。GPU計算を活用し、リソース管理を自動化できる点も特徴です。多数の機械学習ライブラリが含まれ、充実したドキュメントとコミュニティによるサポートが提供されています。深層ニューラルネットワークモデルの構築や学習を行い、データセットの関連する特性を予測するアプリケーションを作成することが可能です。

「tensorflow」パッケージは、Windowsでは以下のコマンドでインストールできます。

pip install tensorflow

Kerasは、ONEIROS（Open-ended Neuro-Electronic Intelligent Robot Operating System）プロジェクトの研究の一環として開発されました。KerasはPythonで記述されたディープラーニングAPIであり、機械学習の課題を効率的に解決するための生産性の高いインターフェースを備えた高レベルAPIです。高いスケーラビリティとクロスプラットフォーム対応力を持ち、TPUやGPUクラスタ上でも実行できます。さらに、KerasモデルはWebブラウザやモバイルデバイス向けにエクスポートすることも可能です。

KerasはTensorFlowパッケージにすでに含まれているため、別途インストールする必要はありません。以下のコードでアクセスできます。

import tensorflow
from tensorflow import keras

以降のコードはGoogle Colaboratoryで実行しています。Google Colab（Colaboratory）を利用すると、ブラウザ上でPythonコードを実行でき、事前の設定は不要でGPU（グラフィックス処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。以下は、PythonでStack Overflowの質問タグ予測に関連するデータセットをダウンロードして探索するコード例です。

コード例

print("tensorflow-textをダウンロード中")
!pip -q install tensorflow-text

import collections
import pathlib
import re
import string
import tensorflow as tf

from tensorflow.keras import layers
from tensorflow.keras import losses
from tensorflow.keras import preprocessing
from tensorflow.keras import utils
from tensorflow.keras.layers.experimental.preprocessing import TextVectorization

import tensorflow_datasets as tfds
import tensorflow_text as tf_text
data_url =
'https://storage.googleapis.com/download.tensorflow.org/data/stack_overflow_16k.tar.gz'
dataset = utils.get_file(
    'stack_overflow_16k.tar.gz',
    data_url,
    untar=True,
    cache_dir='stack_overflow',
    cache_subdir='')
dataset_dir = pathlib.Path(dataset).parent

コード出典：https://www.tensorflow.org/tutorials/load_data/text

出力結果

Downloading tensorflow-text
Downloading data from
https://storage.googleapis.com/download.tensorflow.org/data/stack_overflow_16k.tar.gz
6053888/6053168 [==============================] - 0s 0us/step

解説

• まず、テキスト処理やモデル構築に必要なパッケージをインポートします。

• utils.get_file関数は、指定したURLからデータセットをダウンロードし、キャッシュディレクトリに保存します。引数にuntar=Trueを指定すると、ダウンロード後にtarアーカイブが自動的に展開されます。

• pathlib.Path(dataset).parentによって、展開されたデータセットが格納されているディレクトリのパスを取得しています。このパスは、後続のテキスト分類モデルの構築時に訓練データや検証データを読み込む際に使用されます。