Rubyでのエンコーディングの問題を修正するための3つのステップ

文字列が壊れたときだけ、文字列のエンコーディングについて考えます。 例外トラッカーを確認して表示する場合

Encoding::InvalidByteSequenceError: "\xFE" on UTF-8

顔を見つめています。または、「they’re」が「they’re」として表示され始める場合もあります。

それで、あなたが悪いエンコーディングを持っているとき、あなたはどのように何が壊れたかを理解しますか？そして、どうすればそれを修正できますか？

エンコーディングとは何ですか？

エンコーディングが文字列に対してどのように機能するかを想像できる場合、これらのバグは簡単に修正できます。

文字列は、バイトの配列または小さな数値と考えることができます。

irb(main):001:0> "hello!".bytes
=> [104, 101, 108, 108, 111, 33]

このエンコーディングでは、104 hを意味します 、33 !を意味します 、など。

英語ではあまり一般的ではない文字を使用すると、注意が必要になります：

irb(main):002:0> "hellṏ!".bytes
=> [104, 101, 108, 108, 225, 185, 143, 33]

今では、どの数字がどの文字を表しているのかを判断するのが難しくなっています。 1バイトではなく、ṏ バイトのグループで表されます[225, 185, 143] 。ただし、バイトと文字の間にはまだ関係があります。 そして文字列のエンコーディングがその関係を定義します。

さまざまなエンコーディングを試したときに、1セットのバイトがどのように見えるかを見てみましょう。

# Try an ISO-8859-1 string with a special character!
irb(main):003:0> str = "hellÔ!".encode("ISO-8859-1"); str.encode("UTF-8")
=> "hellÔ!"

irb(main):004:0> str.bytes
=> [104, 101, 108, 108, 212, 33]

# What would that string look like interpreted as ISO-8859-5 instead?
irb(main):005:0> str.force_encoding("ISO-8859-5"); str.encode("UTF-8")
=> "hellд!"

irb(main):006:0> str.bytes
=> [104, 101, 108, 108, 212, 33]

バイトは変更されませんでした。しかし、それはまったく正しく見えません。エンコーディングを変更すると、バイトを変更せずに文字列の印刷方法が変更されました。

すべての文字列をすべてのエンコーディングで表現できるわけではありません ：

irb(main):006:0> "hi∑".encode("Windows-1252")
Encoding::UndefinedConversionError: U+2211 to WINDOWS-1252 in conversion from UTF-8 to WINDOWS-1252
	from (irb):61:in `encode'
	from (irb):61
	from /usr/local/bin/irb:11:in `<main>'

ほとんどのエンコーディングは小さく、すべての可能な文字を処理できるわけではありません。あるエンコーディングの文字が別のエンコーディングに存在しない場合、またはRubyが2つのエンコーディング間で文字を変換する方法を理解できない場合に、このエラーが表示されます。

追加のオプションをencodeに渡すと、このエラーを回避できます。 ：

irb(main):064:0> "hi∑".encode("Windows-1252", invalid: :replace, undef: :replace)
=> "hi?"

invalid およびundef オプションは、翻訳できない文字を別の文字に置き換えます。デフォルトでは、その置換文字は?です。 。 （Unicodeに変換すると、それは�です。）

残念ながら、文字をencodeに置き換えると 、情報が失われる可能性があります。 どのバイトが? 。ただし、データをその新しいエンコーディングにする必要がある場合は、データを失うことは、データが壊れることよりも優れている可能性があります。

これまで、エンコーディングを理解するのに役立つ3つのキー文字列メソッドを見てきました。

• encode 、文字列を別のエンコーディングに変換します（新しいエンコーディングで文字を同等のものに変換します）

• bytes 、文字列を構成するバイトが表示されます

• force_encoding 、これらのバイトが別のエンコーディングで解釈されたように見えるかどうかが表示されます

encodeの主な違い およびforce_encoding そのencode bytesを変更する可能性があります 、およびforce_encoding しません。

irb(main):078:0> "hi\x99!".encoding
=> #<Encoding:UTF-8>

irb(main):088:0> "hi\x99!".encode("UTF-8", "Windows-1252")
=> "hi™!"