異なる文字列表現間の変換でTensorflowをどのように使用できますか？

エンコードされた文字列スカラーは、「デコード」メソッドを使用してコードポイントのベクトルに変換できます。コードポイントのベクトルは、「encode」メソッドを使用してエンコードされた文字列スカラーに変換できます。エンコードされた文字列スカラーは、「トランスコード」メソッドを使用して別のエンコードに変換できます。

続きを読む：TensorFlowとは何ですか？KerasがTensorFlowと連携してニューラルネットワークを作成する方法は？

Pythonを使用してUnicode文字列を表現する方法を理解し、同等のUnicodeを使用してそれらを操作してみましょう。まず、標準の文字列操作に相当するUnicodeを使用して、スクリプト検出に基づいてUnicode文字列をトークンに分割します。

Google Colaboratoryを使用して、以下のコードを実行しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

print("Converting encoded string scalar to a vector of code points")
tf.strings.unicode_decode(text_utf8,input_encoding='UTF-8')
print("Converting vector of code points to an encoded string scalar")
tf.strings.unicode_encode(text_chars, output_encoding='UTF-8')
print("Converting encoded string scalar to a different encoding")
tf.strings.unicode_transcode(text_utf8, input_encoding='UTF8', output_encoding='UTF-16-BE')

コードクレジット：https：//www.tensorflow.org/tutorials/load_data/unicode

出力

Converting encoded string scalar to a vector of code points
Converting vector of code points to an encoded string scalar
Converting encoded string scalar to a different encoding
<tf.Tensor: shape=(), dtype=string, numpy=b'\x8b\xed\x8a\x00Y\x04t\x06'>

説明

• 関数'unicode_decode'は、エンコードされた文字列スカラーをコードポイントのベクトルに変換するために使用されます。
• 関数'unicode_encode'は、コードポイントのベクトルをエンコードされた文字列スカラーに変換するために使用されます。
• 関数'unicode_transcode'は、エンコードされた文字列スカラーを別のエンコードに変換するために使用されます。