TensorFlowとPythonで同じ長さの複数の文字列をエンコードする方法

同じ長さの複数の文字列をエンコードする場合は、tf.Tensorを入力値として使用できます。一方、長さが異なる複数の文字列をエンコードする必要がある場合には、tf.RaggedTensorを入力として使うことが推奨されます。また、パディング（padded）形式やスパース（sparse）形式で複数の文字列を含むテンソルがある場合は、まずそれをtf.RaggedTensorに変換してから、unicode_encodeメソッドを呼び出す必要があります。

Unicode文字列の操作について

ここでは、Pythonを使ってUnicode文字列をどのように表現し、Unicodeの同等機能を利用してそれらを操作するのかを解説します。標準的な文字列操作に対応するUnicodeの機能を活用することで、スクリプト検出に基づいてUnicode文字列をトークンに分割することが可能です。

実行環境について

本記事のコードはGoogle Colaboratory（Colab）上で実行しています。Google Colabはブラウザ上で直接Pythonコードを実行できるサービスで、面倒な環境構築が不要であり、GPU（グラフィックス処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。

コード例

print("同じ長さの複数の文字列をエンコードする場合、tf.Tensorを入力として使用します")
tf.strings.unicode_encode([[99, 97, 116], [100, 111, 103], [99, 111, 119]], output_encoding='UTF-8')
print("長さが異なる複数の文字列をエンコードする場合、tf.RaggedTensorを入力として使用します:")
tf.strings.unicode_encode(batch_chars_ragged, output_encoding='UTF-8')
print("パディング/スパース形式のテンソルがある場合は、unicode_encodeを呼び出す前にtf.RaggedTensorへ変換します")
tf.strings.unicode_encode(
    tf.RaggedTensor.from_sparse(batch_chars_sparse),
    output_encoding='UTF-8')
tf.strings.unicode_encode(
    tf.RaggedTensor.from_tensor(batch_chars_padded, padding=-1),
    output_encoding='UTF-8')

コード引用元：https://www.tensorflow.org/tutorials/load_data/unicode

実行結果

同じ長さの複数の文字列をエンコードする場合、tf.Tensorを入力として使用します
長さが異なる複数の文字列をエンコードする場合、tf.RaggedTensorを入力として使用します:
パディング/スパース形式のテンソルがある場合は、unicode_encodeを呼び出す前にtf.RaggedTensorへ変換します

解説

• 同じ長さの複数の文字列をエンコードする場合は、tf.Tensorをそのまま入力として使用できます。
• 長さが異なる複数の文字列を扱う場合は、tf.RaggedTensorを入力として使用します。RaggedTensorは可変長データを効率的に表現できるためです。
• パディング形式やスパース形式で複数の文字列を持つテンソルの場合は、unicode_encodeを呼び出す前に、tf.RaggedTensor.from_sparse()やtf.RaggedTensor.from_tensor()を使ってtf.RaggedTensorへ変換する必要があります。