TensorFlowとPythonでUnicode文字列をUTF-8エンコードされた文字列として表現する方法

「encode」メソッドを使うことで、Unicode文字列の集合をUTF-8エンコードされた文字列として表現できます。

関連記事：TensorFlowとは何か？ KerasはどのようにTensorFlowと連携してニューラルネットワークを構築するのか？

Unicodeと自然言語処理の関係

自然言語を扱うモデルは、それぞれ異なる文字セットを持つ多様な言語を処理します。Unicodeは、ほぼすべての言語の文字を表現できる標準的なエンコーディング体系として広く採用されています。各文字は、0から0x10FFFFまでの範囲に割り当てられた一意の整数コードポイントによってエンコードされ、Unicode文字列はゼロ個以上のコード値のシーケンスとして定義されます。

本記事では、PythonでUnicode文字列をどのように表現し、Unicode等価の操作を使ってそれらを処理するのかを解説します。まず、標準的な文字列操作に対応するUnicode版のAPIを活用し、用字系（スクリプト）の検出に基づいてUnicode文字列をトークン単位に分割する方法を見ていきましょう。

実行環境について

以下のコードはGoogle Colaboratory上で実行しています。Google Colab（Colaboratory）を利用すると、ブラウザ上で直接Pythonコードを実行でき、面倒な環境構築は一切不要です。さらに、GPU（Graphics Processing Unit）への無料アクセスも提供されており、機械学習の実験に最適な環境です。ColaboratoryはJupyter Notebookをベースに構築されています。

サンプルコード

print("A set of Unicode strings which is represented as a UTF8-encoded string")
batch_utf8 = [s.encode('UTF-8') for s in[u'hÃllo',   u'What is the weather tomorrow',u'Göödnight', u'😊']]
batch_chars_ragged = tf.strings.unicode_decode(batch_utf8,
input_encoding='UTF-8')
for sentence_chars in batch_chars_ragged.to_list():
    print(sentence_chars)
print("Dense tensor with padding are printed")
batch_chars_padded = batch_chars_ragged.to_tensor(default_value=-1)
print(batch_chars_padded.numpy())
print("Converting to sparse matrix")
batch_chars_sparse = batch_chars_ragged.to_sparse()

コード出典：https://www.tensorflow.org/tutorials/load_data/unicode

出力結果

A set of Unicode strings which is represented as a UTF8-encoded string
[104, 195, 108, 108, 111]
[87, 104, 97, 116, 32, 105, 115, 32, 116, 104, 101, 32, 119, 101, 97, 116, 104, 101, 114, 32, 116, 111, 109, 111, 114, 114, 111, 119]
[71, 246, 246, 100, 110, 105, 103, 104, 116]
[128522]
Dense tensor with padding are printed
[[ 104         195         108         108         111          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1]
 [87         104          97         116          32         105         115
          32         116         104         101          32         119
         101          97         116         104         101         114
          32         116         111         109         111         114
         114         111         119]
 [71         246         246         100         110         105         103
         104         116          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1]
 [128522          -1          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1          -1          -1          -1
          -1          -1          -1]]
Converting to sparse matrix

コードのポイント解説

• 文字数の不一致： 複数の文字列を同時にデコードする場合、各文字列に含まれる文字数は必ずしも同じになるとは限りません。
• RaggedTensorの生成： このため、デコード結果はtf.RaggedTensorとして返されます。最も内側の次元の長さは、各文字列の文字数に応じて可変になります。
• 柔軟な変換： このtf.RaggedTensorはそのまま利用できるだけでなく、tf.RaggedTensor.to_tensorメソッドを使えばパディング付きの密なtf.Tensor（Dense Tensor）へ、tf.RaggedTensor.to_sparseメソッドを使えばtf.SparseTensor（スパース行列）へと変換することも可能です。