KerasとPythonでモデルの特定のレイヤーから特徴量を抽出する方法

TensorFlowはGoogleが提供する機械学習フレームワークです。オープンソースとして公開されており、Pythonと組み合わせてアルゴリズムやディープラーニングアプリケーションの実装など、幅広い用途に活用されています。研究用途から本番環境まで対応しており、複雑な数学的演算を高速に実行できる最適化技術を備えています。これは内部でNumPyと多次元配列を使用しているためで、この多次元配列は「テンソル」と呼ばれます。また、深層ニューラルネットワークの構築もサポートしています。

Windows環境では、以下のコマンドで「TensorFlow」パッケージをインストールできます。

pip install tensorflow

テンソルはTensorFlowで使われる基本的なデータ構造であり、フロー図におけるエッジ（辺）をつなぐ役割を果たします。このフロー図は「データフローグラフ」と呼ばれます。テンソルとは、要するに多次元配列またはリストのことです。

Kerasはギリシャ語で「角」を意味します。KerasはONEIROS（Open-ended Neuro-Electronic Intelligent Robot Operating System）プロジェクトの研究の一環として開発されました。Pythonで書かれたディープラーニングAPIであり、機械学習の問題解決を支援する生産性の高いインターフェースを持つ高水準APIです。TensorFlowフレームワーク上で動作し、素早く実験を行えるように設計されています。機械学習ソリューションの開発とカプセル化に不可欠な抽象化機能とビルディングブロックを提供します。

Kerasは高いスケーラビリティとクロスプラットフォーム対応力を備えています。そのため、TPUやGPUクラスタ上でも実行可能で、KerasモデルはWebブラウザやモバイルデバイス向けにエクスポートすることもできます。

KerasはTensorFlowパッケージにすでに含まれており、以下のコードでアクセスできます。

import tensorflow
from tensorflow import keras

以下のコードはGoogle Colaboratoryで実行しています。Google Colab（Colaboratory）はブラウザ上でPythonコードを実行できるサービスで、事前の設定が一切不要で、GPU（グラフィックス処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。

コード例

print("Feature extraction from one layer only")
initial_model = keras.Sequential(
    [
        keras.Input(shape=(250, 250, 3)),
        layers.Conv2D(32, 5, strides=2, activation="relu"),
        layers.Conv2D(32, 3, activation="relu", name="my_intermediate_layer"),
        layers.Conv2D(32, 3, activation="relu"),
    ]
)
print("Feature extraction from the model")
feature_extractor = keras.Model(
    inputs=initial_model.inputs,
    outputs=initial_model.get_layer(name="my_intermediate_layer").output,
)
print("The feature extractor method is called on test data")
x = tf.ones((1, 250, 250, 3))
features = feature_extractor(x)

コード出典 − https://www.tensorflow.org/guide/keras/sequential_model

出力結果

Feature extraction form one layer only 
Feature extraction form the model
The feature extractor method is called on test data

解説

• モデルのアーキテクチャが完成したら、次にトレーニングを行います。

• トレーニングが完了したら、モデルを評価します。

• モデルはディスクに保存でき、必要になったときに復元して再利用できます。

• 複数のGPUを使用することで、モデルのトレーニングを高速化することも可能です。

• モデルが一度構築されると、Functional APIモデルと同じように振る舞います。

• つまり、すべてのレイヤーがそれぞれ入力と出力を持つことになります。

• ここでは、中間にある特定の1つのレイヤーから明示的に特徴量を抽出しています。