Python
 Computer >> コンピューター >  >> プログラミング >> Python

TensorflowとPythonに関するuncideスクリプトとは何ですか？

すべてのUnicodeコードポイントは、スクリプトと呼ばれる単一のコードポイントのコレクションに属しています。キャラクターのスクリプトは、キャラクターが属する言語を決定します。 TensorFlowには、特定のコードポイントで使用されるスクリプトを見つけるのに役立つ「strings.unicode_script」メソッドが付属しています。スクリプトコードはint32値であり、International Components for Unicode（ICU）UScriptCode値にマップできます

続きを読む： TensorFlowとは何ですか？KerasはTensorFlowとどのように連携してニューラルネットワークを作成しますか？

Pythonを使用してUnicode文字列を表現する方法や、同等のUnicodeを使用して文字列を操作する方法については説明しません。まず、標準の文字列操作に相当するUnicodeを使用して、スクリプト検出に基づいてUnicode文字列をトークンに分割します。

以下のコードを実行するためにGoogleColaboratoryを使用しています。 Google ColabまたはColaboratoryは、ブラウザー上でPythonコードを実行するのに役立ち、構成が不要で、GPU（グラフィックプロセッシングユニット）に無料でアクセスできます。 ColaboratoryはJupyterNotebookの上に構築されています。

print("The below represent '芸' and 'Б' respectively")
uscript = tf.strings.unicode_script([33464, 1041])  
print(uscript.numpy())   # [17, 8] == [USCRIPT_HAN, USCRIPT_CYRILLIC]
print("Applying to multidimensional strings")
print(tf.strings.unicode_script(batch_chars_ragged))

コードクレジット：https：//www.tensorflow.org/tutorials/load_data/unicode

出力

The below represent '芸' and 'Б' respectively
[17   8]
Applying to multidimensional strings
<tf.RaggedTensor [[25, 25, 25, 25, 25], [25, 25, 25, 25, 0, 25, 25, 0, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 25], [25, 25, 25, 25, 25, 25, 25, 25, 25], [0]]>

説明

  • すべてのUnicodeコードポイントは、スクリプトと呼ばれる単一のコードポイントのコレクションに属しています。
  • キャラクターのスクリプトは、キャラクターが属することができる言語を決定するのに役立ちます。
  • TensorFlowは、特定のコードポイントが使用するスクリプトを見つけるためのtf.strings.unicode_script操作を提供します。
  • スクリプトコードは、International Components for Unicode（ICU）UScriptCode値にマップされるint32値です。
  • tf.strings.unicode_script操作は、コードポイントの多次元tf.Tensorsまたはtf.RaggedTensorsにも適用できます。

  1. Python識別子とは何ですか？

    Python識別子は、変数、関数、クラス、モジュール、またはその他のオブジェクトを識別するために使用される名前です。識別子は、文字AからZまたはaからzまたはアンダースコア（_）で始まり、その後に0個以上の文字、アンダースコア、および数字（0から9）が続きます。 Pythonでは、識別子内に@、$、％などの句読文字を使用できません。 Pythonは大文字と小文字を区別するプログラミング言語です。したがって、マンパワー およびマンパワー Pythonでは2つの異なる識別子です。 Python識別子の命名規則は次のとおりです- クラス名は大文字で始まります。他のすべての識別子は小文字で始まり

  2. PythonとR以外のデータサイエンスをサポートするツールは何ですか？

    この記事では、PythonとR以外のデータサイエンスをサポートするツールについて学習しますか？ ここでは、データサイエンスの概念を実装するのに役立つ5つのツールを見ていきます。 Apache Hadoop Javaベースのフリーソフトウェア 大容量ストレージ機能 データの分割能力 Nosql より構造化されたオリエンテーション パフォーマンス効率の向上 オープンソースソフトウェアの効率 ハイブ 分散データ管理システム データマイニングに非常に役立ちます トーチ 科学計算フレームワーク Luaプログラミング言語を使用しています ディープラーニングアルゴリ