【TensorFlow入門】PythonでStack Overflow質問データセットを探索し、サンプルファイルを表示する方法

TensorFlowは、Googleが提供する機械学習フレームワークです。オープンソースとして公開されており、Pythonと組み合わせてアルゴリズムや深リズムや深層学習アプリケーションなどを実装するために広く使われています。研究用途から本番環境まで、幅広い場面で活用されています。

「tensorflow」パッケージは、Windows環境であれば以下のコマンドでインストールできます。

pip install tensorflow

Kerasは、ONEIROS（Open-ended Neuro-Electronic Intelligent Robot Operating System）プロジェクトの研究の一環として開発されました。Pythonで書かれた深層学習向けAPIであり、機械学習の問題を効率的に解決するための生産性の高いインターフェースを備えた高レベルAPIです。TensorFlowフレームワーク上で動作し、素早く実験を行えるように設計されています。機械学習ソリューションの開発とカプセル化に必要な抽象化機能や構成要素を提供してくれます。

KerasはTensorFlowパッケージにすでに含まれており、以下のコードでアクセスできます。

import tensorflow
from tensorflow import keras

以下のコードはGoogle Colaboratoryで実行しています。Google Colab（Colaboratory）を使うと、ブラウザ上でPythonコードを実行でき、事前の設定は一切不要で、GPU（グラフィックス処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。

コード例

print("ディレクトリ内のファイル一覧を表示します")
list(dataset_dir.iterdir())
print("Stack Overflowの質問データは 'train/' ディレクトリに格納されています")
train_dir = dataset_dir/'train'
list(train_dir.iterdir())
sample_file = train_dir/'python/1755.txt'
print("サンプルファイルの内容を表示します")
with open(sample_file) as f:
    print(f.read())

コード出典：https://www.tensorflow.org/tutorials/load_data/text

出力結果

ディレクトリ内のファイル一覧を表示します
Stack Overflowの質問データは 'train/' ディレクトリに格納されています
サンプルファイルの内容を表示します
why does this blank program print true x=true.def stupid():. x=false.stupid().print x

解説

• まず、データセットのディレクトリ内にあるファイルが一覧表示されます。

• 続いて、Stack Overflowデータセットに含まれるテキストデータのサンプルがコンソールに出力されます。この例では、「python」カテゴリに属する質問ファイル（1755.txt）を読み込み、その内容をそのまま表示しています。