RailsでのElasticsearchによる全文検索

アイデアは、26K以上の曲の公開データセットを使用して歌詞アプリケーションを作成することです。各曲には、タイトル、アーティスト、ジャンル、テキストの歌詞フィールドがあります。全文検索にはElasticsearchを使用します。

簡単なRailsアプリケーションを作成することから始めましょう：

rails new songs_api --api -d postgresql

APIとしてのみ使用するため、-apiを提供します 使用するミドルウェアのセットを制限するフラグ。

アプリの足場を作りましょう：

bin/rails generate scaffold Song title:string artist:string genre:string lyrics:text

それでは、移行を実行してサーバーを起動しましょう。

bin/rails db:create db:migrate
bin/rails server

その後、GETエンドポイントが機能することを確認します。

curl https://localhost:3000/songs

これにより空の配列が返されますが、まだデータがないので不思議ではありません。

Elasticsearchの紹介

Elasticsearchをミックスに追加しましょう。そのためには、elasticsearch-modelgemが必要になります。これは、Railsモデルとうまく統合できる公式のElasticsearchgemです。

Gemfileに以下を追加します ：

gem 'elasticsearch-model'

デフォルトでは、ローカルホストのポート9200に接続します。これは私たちにぴったりですが、それを変更したい場合は、

Song.__elasticsearch__.client = Elasticsearch::Client.new host: 'myserver.com', port: 9876

次に、Elasticsearchでモデルをインデックスに登録できるようにするには、2つのことを行う必要があります。まず、マッピングを準備する必要があります（これは、基本的にElasticsearchにデータ構造を通知します）。次に、検索リクエストを作成する必要があります。私たちの宝石は両方を行うことができるので、それを使用する方法を見てみましょう。

Elastisearch関連のコードを別のモジュールに保持することは常に良い考えです。そのため、 app / models / concerns / searchable.rbで懸念事項を作成しましょう。 追加

# app/models/concerns/searchable.rb

module Searchable
  extend ActiveSupport::Concern

  included do
    include Elasticsearch::Model
    include Elasticsearch::Model::Callbacks

    mapping do
      # mapping definition goes here
    end

    def self.search(query)
      # build and run search
    end
  end
end

単なるスケルトンですが、ここで開梱するものがあります。

最初で最も重要なことは、 Elasticsearch ::Modelです。 、ESと対話するためのいくつかの機能を追加します。 Elasticsearch ::Model ::Callbacks モジュールは、レコードを更新するときに、Elasticsearchのデータを自動的に更新することを保証します。 マッピング ブロックは、Elasticsearchインデックスマッピングを配置する場所です。これは、Elasticsearchに格納されるフィールドと、それらが持つべきタイプを定義します。最後に、 searchがあります Elasticsearchで曲の歌詞を実際に検索するために使用する方法。私たちが使用している宝石は、 searchを提供します Song.search（ "genesis"）のような単純なクエリで使用できるメソッド 、ただし、クエリDSLを使用して構築されたより複雑な検索クエリで使用します（詳細は後で説明します）。

モデルクラスに懸念事項を含めることを忘れないでください：

# /app/models/song.rb

class Song < ApplicationRecord
  include Searchable
end

# app/models/concerns/searchable.rb

mapping do
  indexes :artist, type: :text
  indexes :title, type: :text
  indexes :lyrics, type: :text
  indexes :genre, type: :keyword
end

Song.__elasticsearch__.create_index!

require 'csv'

class Song < ApplicationRecord
  include Searchable

  def self.import_csv!
    filepath = "/path/to/your/file/tcc_ceds_music.csv"
    res = CSV.parse(File.read(filepath), headers: true)
    res.each_with_index do |s, ind|
      Song.create!(
        artist: s["artist_name"],
        title: s["track_name"],
        genre: s["genre"],
        lyrics: s["lyrics"]
      )
    end
  end
end

# app/models/concerns/searchable.rb

# ...
def self.search(query)
  self.__elasticsearch__.search(query)
end
# ...

# app/controllers/songs_controller.rb

def index
  query = params["query"] || ""
  res = Song.search(query)
  render json: res.response["hits"]["hits"]
end

[
  {
  "_index": "songs",
  "_type": "_doc",
  "_id": "22676",
  "_score": 12.540506,
  "_source": {
    "id": 22676,
    "title": "genesis",
    "artist": "grimes",
    "genre": "pop",
    "lyrics": "heart know heart ...",
    "created_at": "...",
    "updated_at": "..."
    }
  },
...
]

# app/models/concerns/searchable.rb

module Searchable
  extend ActiveSupport::Concern

  included do
    # ...

    def self.search(query)
      params = {
        query: {
          match: {
            artist: query,
          },
        },
      }

      self.__elasticsearch__.search(params)
    end
  end
end

# app/models/concerns/searchable.rb

def self.search(query)
  params = {
    query: {
      multi_match: {
        query: query, 
        fields: [ :title, :artist, :lyrics ] 
      },
    },
  }

  self.__elasticsearch__.search(params)
end

  def self.search(query, genre = nil)
    params = {
      query: {
        bool: {
          must: [
            {
              multi_match: {
                query: query, 
                fields: [ :title, :artist, :lyrics ] 
              }
            },
          ],
          filter: [
            {
              term: { genre: genre }
            }
          ]
        }
      }
    }

    self.__elasticsearch__.search(params)
  end

  def self.search(query)
    params = {
      query: {
        bool: {
          should: [
            { match: { title: query }},
            { match: { artist: query }},
            { match: { lyrics: query }},
          ],
        }
      },
    }

    self.__elasticsearch__.search(params)
  end

  def self.search(query)
    params = {
      query: {
        bool: {
          should: [
            { match: { title: query }},
            { match: { artist: { query: query, boost: 5 } }},
            { match: { lyrics: query }},
          ],
        }
      },
    }

    self.__elasticsearch__.search(params)
  end

def self.search(query)
  params = {
    query: {
      bool: {
        should: [
          { match: { title: query }},
          { match: { artist: { query: query, boost: 5 } }},
          { match: { lyrics: query }},
        ],
      }
    },
    highlight: { fields: { title: {}, artist: {}, lyrics: {} } }
  }

  self.__elasticsearch__.search(params)
end