Tensorflowを使用して、IlliadデータセットをPythonのトレーニングデータとテストデータに分割するにはどうすればよいですか？

Tensorflowは、Googleが提供する機械学習フレームワークです。これは、Pythonと組み合わせて使用​​されるオープンソースのフレームワークであり、アルゴリズム、深層学習アプリケーションなどを実装します。研究や生産目的で使用されます。

「tensorflow」パッケージは、以下のコード行を使用してWindowsにインストールできます-

pip install tensorflow

Tensorは、TensorFlowで使用されるデータ構造です。フロー図のエッジを接続するのに役立ちます。このフロー図は「データフローグラフ」と呼ばれます。テンソルは多次元配列またはリストに他なりません。

これらは、3つの主要な属性を使用して識別できます-

• ランク −テンソルの次元について説明します。これは、テンソルの順序、または定義されたテンソルの次元数として理解できます。

• タイプ −テンソルの要素に関連付けられたデータ型について説明します。 1次元、2次元、またはn次元のテンソルにすることができます。

• 形 −これは行と列を合わせた数です。

イリアスのデータセットを使用します。このデータセットには、ウィリアムカウパー、エドワード（ダービー伯爵）、サミュエルバトラーの3つの翻訳作品のテキストデータが含まれています。モデルは、1行のテキストが与えられたときに翻訳者を識別するようにトレーニングされています。使用されているテキストファイルは前処理されています。これには、ドキュメントのヘッダーとフッター、行番号、章のタイトルの削除が含まれます。

以下のコードを実行するためにGoogleColaboratoryを使用しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

例

以下はコードスニペットです-

train_data = all_encoded_data.skip(VALIDATION_SIZE).shuffle(BUFFER_SIZE)
validation_data = all_encoded_data.take(VALIDATION_SIZE)

train_data = train_data.padded_batch(BATCH_SIZE)
validation_data = validation_data.padded_batch(BATCH_SIZE)

sample_text, sample_labels = next(iter(validation_data))
print("The text batch shape is : ", sample_text.shape)
print("The label batch shape is : ", sample_labels.shape)
print("A text example is : ", sample_text[5])
print("A label example is: ", sample_labels[5])

コードクレジット-https：//www.tensorflow.org/tutorials/load_data/text

出力

The text batch shape is : (64, 18)
The label batch shape is : (64,)
A text example is : tf.Tensor(
[ 20 391 2 11 144 787 2 3498 16 49 2 0 0 0
   0 0 0 0], shape=(18,), dtype=int64)
A label example is: tf.Tensor(1, shape=(), dtype=int64)

説明

• Keras TextVectorizationレイヤーは、ベクトル化されたデータをグループ化/バッチ処理し、パディングを提供するために使用されます。

• バッチ内の例は同じサイズと形状である必要があるため、パディングが必要ですが、データセット内の例は同じサイズではない場合があります。

• テキストの行ごとに単語数が異なる場合があります。

• 「tf.data.Dataset」メソッドは、データセットの分割とパッドバッチ処理に役立ちます。

• 「validation_data」と「train_data」はバッチデータのコレクションです。

• すべてのバッチは、配列として表されるペア（多くの例、多くのラベル）です。