Tensorflowを使用して、不規則なテンソルの単語コードポイントを文にセグメント化するにはどうすればよいですか？

不規則なテンソルの単語コードポイントは、次の方法でセグメント化できます。セグメント化とは、テキストを単語のような単位に分割する行為を指します。これは、単語を区切るためにスペース文字を使用する場合に使用されますが、中国語や日本語などの一部の言語ではスペースを使用しません。ドイツ語などの一部の言語には、意味を分析するために分割する必要のある長い複合語が含まれています。

単語のコードポイントは、文にセグメント化されます。次のステップは、単語内の文字のコードポイントが文に存在するかどうかを確認することです。存在する場合は、不規則なテンソルが作成され、文は標準のエンコードにエンコードされます。

続きを読む： TensorFlowとは何ですか？KerasはTensorFlowとどのように連携してニューラルネットワークを作成しますか？

Pythonを使用してUnicode文字列を表現する方法を理解し、同等のUnicodeを使用してそれらを操作してみましょう。まず、標準の文字列操作に相当するUnicodeを使用して、スクリプト検出に基づいてUnicode文字列をトークンに分割します。

以下のコードを実行するためにGoogleColaboratoryを使用しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

print("Segment the word code points back to sentences")
print("Check if code point for a character in a word is present in the sentence")
sentence_word_char_codepoint = tf.RaggedTensor.from_row_lengths(
   values=word_char_codepoint,
   row_lengths=sentence_num_words)
print(sentence_word_char_codepoint)
print("Encoding it back to UTF-8")
tf.strings.unicode_encode(sentence_word_char_codepoint, 'UTF-8').to_list()

コードクレジット：https：//www.tensorflow.org/tutorials/load_data/unicode

出力

Segment the word code points back to sentences
Check if code point for a character in a word is present in the sentence
<tf.RaggedTensor [[[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46]], [[19990, 30028], [12371, 12435, 12395, 12385, 12399]]]>
Encoding it back to UTF-8
[[b'Hello', b', ', b'there', b'.'],
[b'\xe4\xb8\x96\xe7\x95\x8c',
   b'\xe3\x81\x93\xe3\x82\x93\xe3\x81\xab\xe3\x81\xa1\xe3\x81\xaf']]

説明

• コードポイントは文に分割されます。
• 文字のコードポイントが文に存在するかどうかが判断されます。
• デコードされたデータはUTF-8エンコーディングにエンコードされます。