RubyでのUnicode正規化

使用する必要のある正規化フォームは、目前のタスクによって異なります。以下の私の推奨事項は、Unicode正規化FAQに基づいています。

文字列の互換性のためにNFCを使用する

Rubyの文字列メソッドをほとんどのUnicodeでうまく機能させることが目標である場合は、NFCを使用することをお勧めします。 String#unicode_normalizeのデフォルトであるのには理由があります 。

• 可能な場合は、マルチコードポイント文字を単一のコードポイントに構成します。マルチコードポイント文字は、Stringメソッドに関するほとんどの問題の原因です。
• グリフは変更されないため、エンドユーザーは入力したテキストの変更に気付くことはありません。

とはいえ、すべてのマルチコードポイント文字を単一のコードポイントに構成できるわけではありません。そのような場合、RubyのStringメソッドの動作は悪くなります：

s = "\u01B5\u0327\u0308"          # => "Ƶ̧̈", an un-composable character
s.unicode_normalize(:nfc).size    # => 3, even though there's only one character

セキュリティとDBの互換性のためにNFKCを使用する

ユーザー名などのセキュリティ関連のテキストを使用している場合、または主にデータベースでテキストを適切に再生することに関心がある場合は、NFKCがおそらく適切な選択です。

• 問題が発生する可能性のある文字を互換性のある文字に変換します。
• 次に、すべての文字を単一のコードポイントに構成します。

これがセキュリティに役立つ理由を理解するために、ユーザー名が「HenryIV」のユーザーがいると想像してください。悪意のある攻撃者が、新しいユーザー名「HenryⅣ」を登録して、このユーザーになりすまそうとする可能性があります。

私は知っています、彼らは同じように見えます。それがポイントです。しかし、実際には2つの異なる文字列です。前者はASCII文字"IV"を使用します 後者はローマ数字4にUnicode文字を使用します："Ⅳ" 。

一意性を検証する前にNFKCを使用して文字列を正規化することにより、この種の問題を防ぐことができます。この場合、NFKCはUnicode "\u2163"を変換します アスキー文字「IV」に。

a = "Henry\u2163"
b = "HenryIV"
a.unicode_normalize(:nfc) == b.unicode_normalize(:nfc) # => false, because NFC preserves glyphs
a.unicode_normalize(:nfkc) == b.unicode_normalize(:nfkc) # => true, because NFKC evaluates both to the ascii "IV"