TensorflowとPythonを使用して同じ長さの複数の文字列をエンコードするにはどうすればよいですか？

「tf.Tensor」を入力値として使用して、同じ長さの複数の文字列をエンコードできます。さまざまな長さの複数の文字列をエンコードする必要がある場合は、tf.RaggedTensorを入力として使用する必要があります。テンソルにパディング/スパース形式の複数の文字列が含まれている場合は、tf.RaggedTensorに変換する必要があります。次に、メソッドunicode_encodeを呼び出す必要があります。

続きを読む： TensorFlowとは何ですか？KerasはTensorFlowとどのように連携してニューラルネットワークを作成しますか？

Pythonを使用してUnicode文字列を表現する方法を理解し、同等のUnicodeを使用してそれらを操作してみましょう。まず、標準の文字列操作に相当するUnicodeを使用して、スクリプト検出に基づいてUnicode文字列をトークンに分割します。

Google Colaboratoryを使用して、以下のコードを実行しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

print("When encoding multiple strings of   same lengths, tf.Tensor is used as input")
tf.strings.unicode_encode([[99, 97, 116], [100, 111, 103], [ 99, 111, 119]],output_encoding='UTF-8')
print("When encoding multiple strings with varying length, a tf.RaggedTensor should be used as input:")
tf.strings.unicode_encode(batch_chars_ragged, output_encoding='UTF-8')
print("If there is a tensor with multiple strings in padded/sparse format, convert it to a tf.RaggedTensor before calling unicode_encode")
tf.strings.unicode_encode(
   tf.RaggedTensor.from_sparse(batch_chars_sparse),
   output_encoding='UTF-8')
tf.strings.unicode_encode(
   tf.RaggedTensor.from_tensor(batch_chars_padded, padding=-1),
   output_encoding='UTF-8')

コードクレジット：https：//www.tensorflow.org/tutorials/load_data/unicode

出力

When encoding multiple strings of   same lengths, tf.Tensor is used as input
When encoding multiple strings with varying length, a tf.RaggedTensor should be used as input:
If there is a tensor with multiple strings in padded/sparse format, convert it to a tf.RaggedTensor before calling unicode_encode

説明

• 同じ長さの複数の文字列をエンコードする場合、tf.Tensorを入力として使用できます。
• 長さが異なる複数の文字列をエンコードする場合、tf.RaggedTensorを入力として使用できます。
• パディング/スパース形式の複数の文字列を持つテンソルがある場合、unicode_encodeを呼び出す前にtf.RaggedTensorに変換する必要があります。