複雑な正規表現を単純なパーサーに置き換える

私は専門家ではありませんが、単純なパーサーは単純です。彼らがするのは：

• 文字列を1文字ずつステップスルーします
• 各文字をバッファに追加します
• トークン分離条件が発生した場合は、バッファを配列に保存して空にします。

これを知っていると、文字列を空白で分割する単純なパーサーを設定できます。これは、"foo bar".split(/(\s+)/)とほぼ同等です。 。

class Parser

  WHITESPACE = /\s/
  NON_WHITESPACE = /\S/

  def initialize
    @buffer = []
    @output = []
  end

  def parse(text) 
    text.each_char do |c|
      case c
      when WHITESPACE
        flush if previous.match(NON_WHITESPACE)
        @buffer << c
      else
        flush if previous.match(WHITESPACE)
        @buffer << c
      end
    end

    flush
    @output
  end

  protected

  def flush
    if @buffer.any?
      @output << @buffer.join("")
      @buffer = []
    end
  end

  def previous
    @buffer.last || ""
  end

end


puts Parser.new().parse("foo bar baz").inspect

# Outputs ["foo", " ", "bar", " ", "baz"]

これは私が望む方向への一歩ですが、引用符と角かっこはサポートされていません。幸い、これを追加するには数行のコードしか必要ありません：

  def parse(text) 

    surround = nil

    text.each_char do |c|
      case c
      when WHITESPACE
        flush if previous.match(NON_WHITESPACE) && !surround
        @buffer << c
      when '"', "'"
        @buffer << c
        if !surround
          surround = c
        elsif surround == c
          flush
          surround = nil
        end
      when "["
        @buffer << c
        surround = c if !surround
      when "]"
        @buffer << c
        if surround == "["
          flush
          surround = nil
        end
      else
        flush() if previous().match(WHITESPACE) && !surround
        @buffer << c
      end
    end

    flush
    @output
  end

このコードは、私の正規表現ベースのアプローチよりも少し長いだけですが、はるかに簡単です。