Tensorflowを使用して、パフォーマンスのためにデータセットを構成するにはどうすればよいですか？

花のデータセットは、バッファープリフェッチ、シャッフルメソッド、およびキャッシュメソッドを使用してパフォーマンスを構成できます。バッファリングされたプリフェッチを使用して、I/Oがブロックされることなくデータをディスクから取得できるようにすることができます。 Dataset.cache（）は、最初のエポックでイメージがディスクからロードされた後、イメージをメモリに保持します。 Dataset.prefetch（）は、トレーニング中のデータ前処理とモデル実行と重複します。

続きを読む： TensorFlowとは何ですか？KerasはTensorFlowとどのように連携してニューラルネットワークを作成しますか？

Keras Sequential APIが使用されます。これは、すべてのレイヤーに1つの入力テンソルと1つの出力テンソルがあるプレーンスタックのレイヤーを操作するために使用されるシーケンシャルモデルを構築するのに役立ちます。

以下のコードを実行するためにGoogleColaboratoryを使用しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

print("Configuring the dataset for better performance")
AUTOTUNE = tf.data.AUTOTUNE
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

コードクレジット：https：//www.tensorflow.org/tutorials/images/classification

出力

Configuring the dataset for better performance

説明

• バッファプリフェッチの概念を使用すると、I/Oがブロックされることなくデータをディスクから取得できます。
• データをロードするときに使用できる2つの重要な方法があります。
  • cache（）は、最初のエポックでイメージがディスクからロードされた後、イメージをメモリに保持します。
  • これにより、モデルのトレーニング中にデータセットがボトルネックにならないようになります。
  • データセットが大きすぎてメモリに収まらない場合は、この方法を使用して、パフォーマンスの高いオンディスクキャッシュを作成できます。
  • prefetch（）は、トレーニング中にデータの前処理とモデルの実行をオーバーラップさせます。