Rubyは楽しい言語であるだけでなく、優れた標準ライブラリも付属しています。そのうちのいくつかはそれほど知られておらず、ほとんど隠された宝石です。今日、ゲストライターのマイケルコールがお気に入りのStringscannerを紹介します。

ルビーの隠された宝石：StringScanner

OpenStructやSetoverCSV解析などのデータ構造からベンチマークまで、サードパーティのgemのインストールに頼ることなくかなり遠くまで行くことができます。ただし、Rubyの標準インストールで利用できるあまり知られていないライブラリがいくつかあり、非常に便利です。その1つが StringScannerです。 ドキュメントによると、「文字列に対する字句スキャン操作を提供します」 。

スキャンと解析

では、「字句スキャン」とは正確にはどういう意味ですか？基本的に、特定のルールに従って、入力文字列を取得し、そこから意味のある情報を抽出するプロセスについて説明します。たとえば、これは 2 + 1のような式をとるコンパイラの最初の段階で見ることができます。 入力として、それを次のトークンのシーケンスに変換します：

[{ number: "1" }, {operator: "+"}, { number: "1"}]

字句スキャナーは通常、有限状態オートマトンとして実装されており、それらを生成できる有名なツールがいくつかあります（ANTLRやRagelなど）。

ただし、解析のニーズがそれほど複雑ではなく、正規表現ベースの StringScannerのような単純なライブラリである場合もあります。 このような状況で非常に便利です。いわゆるスキャンポインタの場所を記憶することで機能します これは文字列へのインデックスにすぎません。次に、スキャンプロセスは、スキャンポインタの直後のコードを指定された式と照合しようとします。マッチング操作とは別に、 StringScanner また、スキャンポインタを移動する（文字列を前後に移動する）、先を見据える（スキャンポインタをまだ変更せずに次の項目を確認する）、および文字列の現在の場所（先頭または先頭）を確認する方法も提供します。行の終わり/文字列全体など）

Railsログの解析

十分な理論ですが、 StringScannerを見てみましょう。 アクションで。次の例では、以下のようなRailsのログエントリを取得します。

log_entry = <<EOS
Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
Processing by HomeController#index as HTML
  Rendered text template within layouts/application (0.0ms)
  Rendered layouts/_assets.html.erb (2.0ms)
  Rendered layouts/_top.html.erb (2.6ms)
  Rendered layouts/_about.html.erb (0.3ms)
  Rendered layouts/_google_analytics.html.erb (0.4ms)
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)
EOS

そしてそれを次のハッシュに解析します：

{
  method: "GET",
  path: "/"
  ip: "127.0.0.1",
  timestamp: "2017-08-20 20:53:10 +0900",
  success: true,
  response_code: "200",
  duration: "79ms",
}

NB：これは StringScannerの良い例になりますが 実際のアプリケーションでは、LogrageとそのJSONログフォーマッターを使用する方がよいでしょう。

StringScannerを使用するには 最初にそれを要求する必要があります：

require 'strscan'

この後、ログエントリを引数としてコンストラクタに渡すことで、新しいインスタンスを初期化できます。同時に、解析作業の結果を保持するために空のハッシュも定義します。

scanner = StringScanner.new(log_entry)
log = {}

これで、スキャナーのposメソッドを使用して、スキャンポインターの現在の場所を取得できます。予想どおり、結果は 0です。 、文字列の最初の文字：

scanner.pos #=> 0

これを視覚化して、プロセスを簡単に実行できるようにします。

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
^
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)

スキャナーの状態をさらに詳しく調べるには、 beginning_of_line？を使用できます。 およびeos？ スキャンポインタが現在行の先頭にあり、入力をまだ完全に消費していないことを確認するには：

scanner.beginning_of_line? #=> true
scanner.eos? #=> false

抽出したい情報の最初のビットはHTTPリクエストメソッドです。これは、「Started」という単語の直後にスペースが続きます。スキャナーの適切な名前のskipメソッドを使用して、スキャンポインターを進めることができます。これにより、無視された文字の数（この場合は8）が返されます。さらに、matched？を使用できます。すべてが期待どおりに機能したことを確認するには：

scanner.skip(/Started /) #=> 8
scanner.matched? #=> true

スキャンポインタがリクエストメソッドの直前になりました：

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
       ^
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)

これで、scan_untilを使用して実際の値を抽出できます。これにより、正規表現の一致全体が返されます。 requestメソッドはすべて大文字であるため、単純な文字クラスと +を使用できます。 1つまたは複数の文字に一致する演算子：

log[:method] = scanner.scan_until(/[A-Z]+/) #=> "GET"

この操作の後、スキャンポインタは単語「GET」の最後の「T」になります。

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
       ^
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)

したがって、要求されたパスを抽出するには、1つのスペースをスキップしてから、二重引用符で囲まれたすべてを抽出する必要があります。これを実現する方法はいくつかありますが、そのうちの1つは、キャプチャグループ（括弧内に含まれる正規表現の一部、つまり（。+）を使用する方法です。 ）任意の文字の1つ以上に一致する：

scanner.scan(/\s"(.+)"/) #=> " \"/\""

ただし、この scanの戻り値は使用しません。 直接操作しますが、代わりにキャプチャを使用して、代わりに最初のキャプチャグループの値を取得します。

log[:path] =  scanner.captures.first #=> "/"

パスが正常に抽出され、スキャンポインタが二重引用符で囲まれています：

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
       ^
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)

ログからIPアドレスを解析するには、もう一度 skipを使用します。 スペースで囲まれた文字列「for」を無視してから、 scan_untilを使用します 1つ以上の空白以外の文字に一致させる（ \ s 空白と[^\ s]を表す文字クラスです その否定です）：

scanner.skip(/ for /) #=> 5
log[:ip] = scanner.scan_until(/[^\s]+/) #=> "127.0.0.1"

スキャンポインタが今どこにあるかわかりますか？少し考えてから、答えを解決策と比較してください。

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
       ^
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)

タイムスタンプの解析は、今では非常に馴染みがあるはずです。まず、信頼できる古い skipを使用します "のリテラル文字列"を無視します 次に、 scan_untilを使用します $で表される現在の行の終わりまで読み取る 正規表現の場合：

scanner.skip(/ at /) #=> 4
log[:timestamp] = scanner.scan_until(/$/) #=> "2017-08-20 20:53:10 +0900"

scanner.skip_until(/Completed /) #=> 296

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)
         ^

log[:success] = scanner.peek(1) == "2" #=> true

log[:response_code] = scanner.scan(/\d{3}/) #=> "200"

Started GET "/" for 127.0.0.1 at 2017-08-20 20:53:10 +0900
...
Completed 200 OK in 79ms (Views: 78.8ms | ActiveRecord: 0.0ms)
         ^

scanner.skip(/ OK in /) #=> 7
log[:duration] = scanner.scan_until(/ms/) #=> "79ms"

{
  method: "GET",
  path: "/"
  ip: "127.0.0.1",
  timestamp: "2017-08-20 20:53:10 +0900",
  success: true,
  response_code: "200",
  duration: "79ms",
}