Pythonのstringprepモジュールで学ぶUnicode文字列の事前準備

stringprep（文字列準備）とは

インターネット上でさまざまな識別子を扱う際には、それらが等しいかどうかを比較する必要があります。しかし、比較の手順はアプリケーションの分野によって異なり、たとえば大文字と小文字を区別しないケースなども存在します。こうした情報を確認し、文字列を適切に正規化するために使われるのが stringprep（文字列準備）です。

RFC 3454では、Unicode文字列をネットワーク上へ送信する前に施すべき「準備」の手順が定義されています。この準備プロセスを経た文字列は、一定の正規化された形式を持つことになります。

RFCでは一連のテーブルが定義されており、これらのテーブルを組み合わせて「プロファイル」を作成できます。stringprepプロファイルの代表例が nameprep で、国際化ドメイン名（IDN）の処理などに利用されています。

テーブルの2つの種類

stringprepのテーブルには セット（set） と マッピング（mappings） の2種類があります。セット型のテーブルでは、指定した文字がそのテーブルに含まれていればTrueを、含まれていなければFalseを返します。一方、マッピング型のテーブルでは、キーとなるコードポイントを渡すと、それに対応する値が返されます。

このモジュールを使用するには、コード内でstringprepモジュールをインポートします。

import stringprep

stringprepの主なテーブル一覧

サンプルコード

import stringprep as sp
print('\u0020') # 空白文字を出力
print(sp.in_table_c11('\u0020')) # ASCII空白文字に含まれるためTrue
print(sp.in_table_d2('L')) # 文字Lは左から右への双方向プロパティを持つためTrue
print(sp.in_table_d1('L')) # 文字Lは右から左への双方向プロパティを持たないためFalse

実行結果

 
True
True
False