TensorflowとPythonを使用して、単語のリストから不規則なテンソルを構築するにはどうすればよいですか？

RaggedTensorは、文中の単語の開始オフセットを使用して作成できます。まず、文中のすべての単語のすべての文字のコードポイントが作成されます。次に、それらがコンソールに表示されます。その特定の文の単語数が決定され、オフセットが決定されます。

続きを読む： TensorFlowとは何ですか？KerasはTensorFlowとどのように連携してニューラルネットワークを作成しますか？

Pythonを使用してUnicode文字列を表し、同等のUnicodeを使用してそれらを操作します。最初に、標準の文字列操作に相当するUnicodeを使用して、スクリプト検出に基づいてUnicode文字列をトークンに分割します。

Google Colaboratoryを使用して、以下のコードを実行しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

print("Get the code point of every character in every word")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
   values=sentence_char_codepoint.values,
   row_starts=word_starts)
print(word_char_codepoint)
print("Get the number of words in the specific sentence")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1)

コードクレジット：https：//www.tensorflow.org/tutorials/load_data/unicode

出力

Get the code point of every character in every word
<tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]>
Get the number of words in the specific sentence

説明

• すべての単語のすべての文字のコードポイントが作成されます。
• これらはコンソールに表示されます。
• その特定の文の単語数が決定されます。