怠惰な列挙子を使用してRubyで大きなファイルを操作する

通常の列挙子には、大きなコレクションで問題があります。その理由は、呼び出す各メソッドがコレクション全体を反復処理する必要があるためです。次のコードを実行すると、これを自分で確認できます。

# This code will "hang" and you'll have to ctrl-c to exit
(1..Float::INFINITY).reject { |i| i.odd? }.map { |i| i*i }.first(5)

reject メソッドは、無限のコレクションの反復を終了できないため、永久に実行されます。

しかし、少し追加するだけで、コードは完全に実行されます。単にlazyと呼ぶと メソッドでは、Rubyは賢いことを行い、計算に必要な回数だけ反復を行います。この場合、これはわずか10行であり、無限大よりも大幅に小さくなっています。

(1..Float::INFINITY).lazy.reject { |i| i.odd? }.map { |i| i*i }.first(5)
#=> [4, 16, 36, 64, 100]

6千部のMobyDick

これらのファイルトリックをテストするには、大きなファイルが必要です。非常に大きいため、「怠惰になるのに失敗した」ことは明らかです。

ProjectGutenbergからMobyDickをダウンロードし、100部のテキストファイルを作成しました。しかし、それは十分な大きさではありませんでした。だから私はそれを約6,000に上げました。つまり、今のところ、私はおそらく世界で6,000部のMobyDickを含むテキストファイルを持っている唯一の人です。それは一種の謙虚さです。しかし、私は逸脱します。

moby dickをダウンロードして数千回複製し、大きなファイルを再生しました。構文はbashではありません。魚の殻です。残っているのは私だけだと思います。

File.open("moby.txt") do |f|
  # Print out each line in the file
  f.each_line do |l|
    puts l
  end

  # Also prints out each line in the file. But it does it
  # by calling `each` on the Enumerator returned by `each_line`
  f.each_line.each do |l|
    puts l
  end
end

file.each_line.each_with_index.map { |line, i| "Line #{ i }: #{ line }" }[3, 10]
file.each_line.select { |line| line.size == 9 }.first(10)
file.each_line.reject { |line| line.match /whale/i }

File.open("moby.txt") do |f|

  # Get the first 3 lines with the word "whale"
  f.each_line.lazy.select { |line| line.match(/whale/i) }.first(3)

  # Go back to the beginning of the file. 
  f.rewind

  # Prepend the line number to the first three lines
  f.each_line.lazy.each_with_index.map do |line, i| 
    "LINE #{ i }: #{ line }" 
  end.first(3)

  f.rewind

  # Get the first three lines containing "whale" along with their line numbers
  f.each_line.lazy.each_with_index.map { |line, i| "LINE #{ i }: #{ line }" }.select { |line| line.match(/whale/i) }.first(3)

end