TensorFlowでUnicode文字列を表現・操作する方法を徹底解説

Unicode文字列は、デフォルトでUTF-8エンコードされます。TensorFlowモジュールのconstantメソッドを使用すると、Unicode文字列をUTF-8エンコードされたスカラー値として表現できます。さらに、TensorFlowモジュールに用意されているencodeメソッドを使えば、UTF-16エンコードされたスカラーとしても表現することが可能です。

Unicodeとは？自然言語処理における役割

自然言語処理モデルは、異なる文字セットを持つ多様な言語を扱います。Unicodeは、ほぼすべての言語の文字を表現できる標準的なエンコーディングシステムとして広く採用されています。各文字は、0から0x10FFFFまでの範囲にある一意の整数コードポイントによってエンコードされ、Unicode文字列は0個以上のコード値からなるシーケンスとして定義されます。

本記事では、Pythonを使ってUnicode文字列を表現する方法と、標準的な文字列操作に対応するUnicode版の操作を使ってそれらを処理する方法を解説します。まず、スクリプト検出に基づいてUnicode文字列をトークンに分割する手法を見ていきましょう。

Google Colaboratoryについて

以下のコードはGoogle Colaboratory上で実行しています。Google Colab（Colaboratory）は、ブラウザ上で直接Pythonコードを実行できる環境であり、事前の設定が一切不要で、GPU（グラフィック処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。

コード例：Unicode文字列のさまざまな表現方法

import tensorflow as tf
print("A constant is defined")
tf.constant(u"Thanks 😊")
print("The shape of the tensor is")
tf.constant([u"You are", u"welcome!"]).shape
print("Unicode string represented as UTF-8 encoded scalar")
text_utf8 = tf.constant(u"语言处理")
print(text_utf8)
print("Unicode string represented as UTF-16 encoded scalar")
text_utf16be = tf.constant(u"语言处理".encode("UTF-16-BE"))
print(text_utf16be)
print("Unicode string represented as a vector of Unicode code points")
text_chars = tf.constant([ord(char) for char in u"语言处理"])
print(text_chars)

コード出典：https://www.tensorflow.org/tutorials/load_data/unicode

実行結果

A constant is defined
The shape of the tensor is
Unicode string represented as UTF-8 encoded scalar
tf.Tensor(b'\xe8\xaf\xad\xe8\xa8\x80\xe5\xa4\x84\xe7\x90\x86', shape=(), dtype=string)
Unicode string represented as UTF-16 encoded scalar
tf.Tensor(b'\x8b\xed\x8a\x00Y\x04t\x06', shape=(), dtype=string)
Unicode string represented as a vector of Unicode code points
tf.Tensor([35821 35328 22788 29702], shape=(4,), dtype=int32)

解説

• TensorFlowのtf.stringは基本的なdtypeです。
• ユーザーはこれを使って、バイト文字列のテンソルを構築できます。
• Unicode文字列はデフォルトでUTF-8エンコードされます。
• バイト文字列はアトミックな単位として扱われるため、tf.stringテンソルは長さの異なるバイト文字列を保持できます。
• 文字列の長さはテンソルの次元には含まれません。
• Pythonで文字列を構築する際、Unicodeの扱いはv2とv3で異なります。v2では「u」プレフィックスを付けてUnicode文字列であることを示します。
• v3では、文字列はデフォルトでUnicodeエンコードされます。

TensorFlowにおけるUnicode文字列の2つの標準的な表現方法

• 文字列スカラー： コードポイントのシーケンスを、既知の文字エンコーディングでエンコードして表現する方法です。
• int32ベクトル： 各位置に単一のコードポイントが格納される形式で表現する方法です。