Tensorflowを使用して、Pythonを使用してIlliadデータセットをダウンロードおよび探索するにはどうすればよいですか？

Tensorflowは、Googleが提供する機械学習フレームワークです。これは、Pythonと組み合わせて使用​​されるオープンソースのフレームワークであり、アルゴリズムや深層学習アプリケーションなどを実装します。研究や生産目的で使用されます。

「tensorflow」パッケージは、以下のコード行を使用してWindowsにインストールできます-

pip install tensorflow

Tensorは、TensorFlowで使用されるデータ構造です。フロー図のエッジを接続するのに役立ちます。このフロー図は「データフローグラフ」と呼ばれます。テンソルは多次元配列またはリストに他なりません。

これらは、3つの主要な属性を使用して識別できます-

• ランク −テンソルの次元について説明します。これは、テンソルの順序、または定義されたテンソルの次元数として理解できます。

• タイプ −テンソルの要素に関連付けられたデータ型について説明します。 1次元、2次元、またはn次元のテンソルにすることができます。

• 形 −これは行と列を合わせた数です。

イリアスのデータセットを使用します。このデータセットには、ウィリアムカウパー、エドワード（ダービー伯爵）、サミュエルバトラーの3つの翻訳作品のテキストデータが含まれています。モデルは、1行のテキストが与えられたときに翻訳者を識別するようにトレーニングされています。使用されているテキストファイルは前処理されています。これには、ドキュメントのヘッダーとフッター、行番号、章のタイトルの削除が含まれます。

以下のコードを実行するためにGoogleColaboratoryを使用しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 Collaboratoryは、JupyterNotebookの上に構築されています。以下はコードスニペットです-

例

print("Loading the Illiad dataset")
DIRECTORY_URL = 'https://storage.googleapis.com/download.tensorflow.org/data/illiad/'
FILE_NAMES = ['cowper.txt', 'derby.txt', 'butler.txt']

print("Iterating through the name of the files")
for name in FILE_NAMES:
   text_dir = utils.get_file(name, origin=DIRECTORY_URL + name)

parent_dir = pathlib.Path(text_dir).parent
print("The list of files in the directory")
print(list(parent_dir.iterdir()))

コードクレジット-https：//www.tensorflow.org/tutorials/load_data/text

出力

Loading the Illiad dataset
Iterating through the name of the files
Downloading data from
https://storage.googleapis.com/download.tensorflow.org/data/illiad/cowper.txt
819200/815980 [==============================] - 0s 0us/step
Downloading data from
https://storage.googleapis.com/download.tensorflow.org/data/illiad/derby.txt
811008/809730 [==============================] - 0s 0us/step
Downloading data from
https://storage.googleapis.com/download.tensorflow.org/data/illiad/butler.txt
811008/807992 [==============================] - 0s 0us/step
The list of files in the directory
[PosixPath('/root/.keras/datasets/derby.txt'), PosixPath('/root/.keras/datasets/cowper.txt'),
PosixPath('/root/.keras/datasets/butler.txt')]
[ ]

説明

• 「tf.data.TextLineDataset」は、テキストファイルから例を読み込むために使用されます。

• 「tf.text」はデータを前処理するために使用されます。

• まず、データセットをダウンロードして探索します。