TensorFlowにおけるテキストデータのセグメンテーションとは？Unicode処理の基本を解説

テキストのセグメンテーション（分割）とは

セグメンテーション（Segmentation）とは、テキストを単語のような単位に分割する処理のことです。英語など多くの言語では、スペース文字を使って単語を区切りますが、中国語や日本語のようにスペースを使用しない言語も存在します。また、ドイツ語のような言語には長い複合語が含まれており、意味を分析するためには適切に分割する必要があります。

自然言語を扱うモデルは、異なる文字セットを持つさまざまな言語を処理しなければなりません。このとき標準的なエンコーディングシステムとして広く使われているのがUnicodeです。Unicodeでは、ほぼすべての言語の文字を表現でき、各文字は0から0x10FFFFまでの一意な整数コードポイントによってエンコードされます。Unicode文字列とは、0個以上のコード値のシーケンスとして定義されます。

PythonでのUnicode文字列の扱い方

ここでは、PythonでUnicode文字列をどのように表現し、Unicodeに対応した操作でそれらを加工していくかを見ていきます。まず、標準的な文字列操作に相当するUnicode操作を使い、スクリプト（用字系）の検出に基づいてUnicode文字列をトークンに分割します。

以下のコードはGoogle Colaboratory上で実行しています。Google Colab（Colaboratory）はブラウザ上でPythonコードを実行できる環境で、設定不要であり、GPU（グラフィックス処理装置）にも無料でアクセスできます。ColaboratoryはJupyter Notebookをベースに構築されています。

実行コード例

print("Below is the sentence that is processed")
sentence_texts = [u'Hello, there.', u'世界こんにちは']
print("The code point values for characters in the sentence")
sentence_char_codepoint = tf.strings.unicode_decode(sentence_texts, 'UTF-8')
print(sentence_char_codepoint)
print("The unicode script values for characters in the sentence")
sentence_char_script = tf.strings.unicode_script(sentence_char_codepoint)
print(sentence_char_script)

コード引用元：https://www.tensorflow.org/tutorials/load_data/unicode

出力結果

Below is the sentence that is processed
The code point values for characters in the sentence

The unicode script values for characters in the sentence
<tf.RaggedTensor [[25, 25, 25, 25, 25, 0, 0, 25, 25, 25, 25, 25, 0], [17, 17, 20, 20, 20, 20, 20]]>

コードの解説

• セグメンテーションとは、テキストを単語のような単位に分割するタスクです。
• 通常はスペース文字で単語を区切りますが、中国語や日本語のようにスペースを使わない言語の場合に特に有効です。
• ドイツ語のような長い複合語を持つ言語では、意味を分析するために分割が必要になります。
• Web上のテキストでは、「NY株価」のように複数の言語やスクリプトが混在することが一般的です。
• 機械学習モデルを使わなくても、スクリプトの変化を単語境界の近似として利用することで、大まかなセグメンテーションが可能です。
• これは「NY株価」のような文字列に対して機能します。また、スペースを使うほとんどの言語でも動作します。これは、各種スクリプトのスペース文字がUSCRIPT_COMMONという特殊なスクリプトコードに分類され、実際のテキストのスクリプトとは異なるためです。
• 上記のコードでは、まず各文のすべての文字に対するコードポイントが生成されます。
• 次に、各文のすべての文字に対するUnicodeスクリプトが生成されます。