TensorFlowとPythonで単語リストからRaggedTensor（不規則テンソル）を構築する方法

RaggedTensor（不規則テンソル）は、文中の各単語の開始位置（オフセット）を利用することで構築できます。まず、文に含まれるすべての単語について、その文字ごとのコードポイント（Unicode符号位置）を取得します。次に、それらをコンソールに表示し、対象の文に含まれる単語の数を求め、オフセットを算出します。

Unicode文字列の扱い

PythonではUnicode文字列を表現し、Unicodeに対応した操作でそれらを処理できます。まず、標準的な文字列操作に相当するUnicode処理を活用して、スクリプト（文字体系）の検出に基づいてUnicode文字列をトークンに分割します。

実行環境について

本記事のコードはGoogle Colaboratory上で実行しています。Google Colab（Colaboratory）を利用すると、ブラウザ上でPythonコードを実行でき、事前の環境設定は一切不要です。さらに、GPU（グラフィックス処理装置）へ無料でアクセスでき、Jupyter Notebookをベースに構築されています。

サンプルコード

print("Get the code point of every character in every word")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
    values=sentence_char_codepoint.values,
    row_starts=word_starts)
print(word_char_codepoint)
print("Get the number of words in the specific sentence")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1)

コード出典：https://www.tensorflow.org/tutorials/load_data/unicode

出力結果

Get the code point of every character in every word
<tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]>
Get the number of words in the specific sentence

解説

• tf.RaggedTensor.from_row_startsを使用して、各単語の開始位置を行の境界として指定し、文字コードポイントからRaggedTensorを構築します。
• 構築されたRaggedTensorには、各単語を構成する文字のコードポイントが格納されており、コンソールに表示して確認できます。
• tf.reduce_sumとtf.castを組み合わせることで、文ごとに含まれる単語の数を集計します。

この手法により、長さの異なる単語や文をまとめて扱えるため、自然言語処理における可変長データの前処理に非常に有効です。