Ruby 2.4 の Unicode サポートを徹底テスト──「最小驚きの原則」から見る文字列操作の落とし穴

Ruby 2.4 で導入された新機能の一つに、改善された Unicode サポートがあります。具体的には、upcase や downcase といったメソッドが期待通りに動作し、「ä」を「Ä」に、そして元に戻せるようになりました。この変更をきっかけに、2013 年に André Arko 氏がブログ記事「Strings in Ruby are UTF-8 now… right??」を公開して以来、どの程度 Unicode 対応が進んだのか気になり、調査を行いました。

技術的なバグを探すのではなく、「最小驚きの原則（Principle of Least Surprise）」の観点から、Ruby のすべての文字列メソッドをテストしました。具体的には、以下の 5 つの前提を満たすかどうかを検証しています。

1. 異なる文字は異なるものとして扱われる：「e」と「ë」は、「e」と「E」が異なるのと同様に、別の文字として扱われるべきです。
2. 単一の文字は単一の文字として数えられる： Unicode でどのように表現されていようと、一つの文字は一つの文字です。「e」も「ë」もそれぞれ 1 文字ですが、後者は 2 つのコードポイントで構成されます。
3. 文字は不変である： 文字列を反転させても、個々の文字が変化してはなりません。
4. 空白は空白として扱われる： トリッキーな Unicode 空白文字であっても、空白として処理されるべきです。
5. 数字は数字として扱われる： 書き方に関わらず、数字の 2 は常に 2 として認識されるべきです。

残念ながら、Ruby の文字列操作メソッドの大半はこれらのテストをパスしません。Unicode 文字列を扱う際は、どのメソッドを使うか極めて慎重になる必要があります。

注記： 公開後、いくつかの読者から「テスト文字列を Unicode 正規化していれば、指摘された失敗の多くは起きなかったはずだ」との指摘を受けました。これは事実です。しかし、Ruby や Rails が自動的に文字列を正規化することはありません（私がテストしたアプリケーションのいずれにおいても）。これらのテストは常に「最悪のケース」を示すことを意図しており、その観点からは依然として有用だと考えています。

Ruby 2.4.0 における Unicode テスト結果

以下の表は、主要な文字列メソッドを対象に、結合文字（例：「ä」＝「a」＋結合ダイエレシス U+0308）を用いてテストした結果です。「Expected」は「最小驚きの原則」に基づく期待値、「Result」は実際の実行結果、「Verdict」は判定を示します。

まとめと対策

テスト結果からわかる通り、Ruby 2.4 で upcase/downcase などのケース変換が改善された一方で、文字単位で動作すべきメソッドの多くが依然としてコードポイント単位で動作し、「最小驚きの原則」を満たしていません。特に chars、each_char、length/size、reverse、gsub/sub、split など、日常的に使うメソッドが「要注意」判定となっています。

推奨される対策

• 文字列を NFC/NFD 正規化する： String#unicode_normalize（Ruby 2.2+）を用いて、処理の前後に正規化を行う。
• グレム（書記素クラスタ）単位で操作する： String#grapheme_clusters（Ruby 3.2+）や、unicode-display_width、unicode-grapheme-cluster-break などの gem を活用する。
• 正規表現では \X を使う： 書記素クラスタにマッチする \X を用いると、結合文字列を一つの単位として扱えます。
• 数値変換は注意深く： to_i 等は ASCII 数字のみ対応。全角数字やアラビア・インディック数字（例：「١」）には対応していません。Unicode::Number 等のライブラリを検討してください。

Unicode を正しく扱うには、「文字列＝バイト列」でも「文字列＝コードポイント列」でもなく、「文字列＝書記素クラスタの列」として捉え、適切なライブラリや正規化を併用することが不可欠です。Ruby の進化に期待しつつ、現時点では慎重な実装を心がけましょう。