Tensorflowを使用してPythonを使用してIlliadデータセットを読み込むにはどうすればよいですか？

Tensorflowは、Googleが提供する機械学習フレームワークです。これは、Pythonと組み合わせて使用​​されるオープンソースのフレームワークであり、アルゴリズムや深層学習アプリケーションなどを実装します。研究や生産目的で使用されます。

Tensorは、TensorFlowで使用されるデータ構造です。フロー図のエッジを接続するのに役立ちます。このフロー図は「データフローグラフ」と呼ばれます。テンソルは多次元配列またはリストに他なりません。

これらは、3つの主要な属性を使用して識別できます-

• ランク −テンソルの次元について説明します。これは、テンソルの順序、または定義されたテンソルの次元数として理解できます。

• タイプ −テンソルの要素に関連付けられたデータ型について説明します。 1次元、2次元、またはn次元のテンソルにすることができます。

• 形 −これは行と列を合わせた数です。

イリアスのデータセットを使用します。このデータセットには、ウィリアムカウパー、エドワード（ダービー伯爵）、サミュエルバトラーの3つの翻訳作品のテキストデータが含まれています。モデルは、1行のテキストが与えられたときに翻訳者を識別するようにトレーニングされています。使用されているテキストファイルは前処理されています。これには、ドキュメントのヘッダーとフッター、行番号、章のタイトルの削除が含まれます。

以下のコードを実行するためにGoogleColaboratoryを使用しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

例

以下はコードスニペットです-

def labeler(example, index):
   return example, tf.cast(index, tf.int64)
print(“An empty list has been created”)
labeled_data_sets = []
print(“Iterate through the file names and create a dataset from text file using ‘TextLineDataset’
method”)
for i, file_name in enumerate(FILE_NAMES):
   lines_dataset = tf.data.TextLineDataset(str(parent_dir/file_name))
   labeled_dataset = lines_dataset.map(lambda ex: labeler(ex, i))
   labeled_data_sets.append(labeled_dataset)

コードクレジット-https：//www.tensorflow.org/tutorials/load_data/text

出力

An empty list has been created
Iterate through the file names and create a dataset from text file using ‘TextLineDataset’ method

説明

• 「TextLineDataset」が使用され、テキストファイルからtf.data.Aデータセットが作成されます。

• すべての例は、元のファイルからの1行のテキストです

• 「text_dataset_from_directory」は、ファイルの内容を1つの例として扱います。

• TextLineDatasetは、行ベースのテキストデータを操作するときに役立ちます。

• これらのファイルを繰り返し処理し、すべての行を独自のデータセットにロードします。

• すべての例には個別にラベルを付ける必要があるため、「tf.data.Dataset.map」を使用してすべての行にラベラー関数を適用します。

• これにより、データセット内のすべての例が繰り返され、（例、ラベル）ペアが出力として返されます。