Filebeatモジュールを使用した簡単なログ分析

Elastic {on} 17以来、Elastic Stackの今後のすべての機能、特に新しいFilebeatモジュールのコンセプトに興奮しています。通常、Filebeatでデータの取得を開始する場合は、Filebeatを構成し、Elasticsearchマッピングテンプレートを作成し、取り込みパイプラインまたはLogstashインスタンスを作成してテストしてから、そのデータセットのKibanaビジュアライゼーションを作成する必要があります。 Beatsチームは、モジュールのコンセプトにより、セットアッププロセスを非常に簡単にしました。

Filebeatモジュールは、これらの構成手順をすべて1つのコマンドで有効にできるパッケージにまとめます。 Filebeat 5.3.0以降には、mysql、nginx、apache、およびシステムログ用のモジュールが付属していますが、独自のモジュールを作成することも簡単です。

Filebeatモジュールは約数週間利用可能になっているので、ObjectRocketサービスのような非ローカルElasticsearchクラスターでそれらを使用する方法についての簡単なブログを作成したいと思いました。 ObjectRocketサービスでElasticsearchバージョン5.4をリリースしたばかりなので、Filebeatモジュールを今すぐ試して、新しいauditdモジュールとLinuxsystem.authファイルセットを利用できます。

設定

以下の手順は、ElasticsearchインスタンスとUIのObjectRocketを参照していますが、他のサービスや独自のクラスター用に変更するのは簡単です。また、この例では「システム」モジュールを使用しますが、他のモジュールを含めるのは簡単です。

必要なのは、Elasticsearch 5.3以降のインスタンス（以前の5.x Elasticsearchバージョンをいくつか試しましたが、正常に動作しましたが、保証はありません）、同じバージョンのKibana、Elasticsearchクラスターに接続するためのホスト名、クラスターへの書き込みとインデックスの作成が可能なユーザークレデンシャル、およびバージョン5.3以降のFilebeat。

ElasticsearchクラスターとKibanaが既にセットアップされていると仮定すると、最初に、実行しているシステムのタイプに応じてFilebeatをダウンロードする必要があります。次に、ログを収集するシステムにファイルビートを抽出します。この例では、MacOSを実行してElasticsearch 5.4.0クラスターに接続しているMacbookを使用しているため、filebeat-5.4.0-darwin-x86_64.tar.gzパッケージを使用します。そのアーカイブを抽出すると、Filebeatをセットアップする準備が整います。

Filebeatのセットアップ

デフォルトでは、Filebeatはローカルマシン上のElasticsearchインスタンスに接続し、含まれているfilebeat.ymlファイルを使用して/var/log/*.log内のすべてのログを読み取ろうとします。そのため、最初にクラスターをポイントしてストリップするように変更する必要があります。他のプロスペクターを排除します。 ObjectRocketサービスを使用している場合は、UIからBeatsスニペットをコピーするだけで開始できます。これにより、クラスターの特定のホスト名が自動入力されます。

他のすべてを取り除き、ユーザー名/パスワードを入力すると、filebeat.ymlファイル全体が次のようになります。

divclass =”ハイライト”>

output:
  elasticsearch:
    # The Elasticsearch cluster
    hosts: ["https://dfw-xxxx-0.es.objectrocket.com:xxxx", "https://dfw-xxxx-1.es.objectrocket.com:xxxx", "https://dfw-xxxx-2.es.objectrocket.com:xxxx", "https://dfw-xxxx-3.es.objectrocket.com:xxxx"]

    # HTTP basic auth
    username: "elasticsearch"
    password: "supersecretpassword"

それでおしまい。すべての入力が削除されているため、ファイルにはElasticsearch接続情報のみが含まれていることに注意してください。この時点で、マシンからelasticsearchクラスターにアクセスできること、ACLが追加されていることなども確認してください。次に、Filebeatを使用してすべてを動かしてみましょう。

Filebeatの実行

クラスタと通信するようにすべてが設定されているので、デフォルトの場所でfilebeat.ymlにすべての変更を加えている限り、filebeatディレクトリから次のコマンドを実行するだけです。

./filebeat -e -modules =system -setup

-eはFilebeatログをsyslogではなくstderrに作成し、-modules =systemはFilebeatにシステムモジュールを使用するように指示し、-setupはFilebeatにモジュールのKibanaダッシュボードをロードするように指示します。コマンドの-setup部分を含める必要があるのは、デフォルトのダッシュボードをKibanaにロードするだけなので、初めて、またはFilebeatをアップグレードした後だけです。複数のモジュールを実行する場合は、すべてをコンマで区切ってリストできます（スペースなし）。

注：Filebeat 5.4.0には、-setupを引き起こす可能性のあるバグがあります。 特定のシステムで失敗するコマンドの一部。 ulimitをより高い値に設定することで、この問題を回避できます（ulimit -n 2048を実行します）。 ）またはfilebeat5.3.xを使用します。

これで、Filebeatがその機能を実行するはずです。エラーが表示されない限り、Kibanaにアクセスして確認してみましょう。

データを見る

Kibanaにログインすると、新しいfilebeat- *インデックスパターンと、いくつかの新しいビジュアライゼーションとダッシュボードが利用可能になります。 「ダッシュボード」に移動し、「Filebeatsyslogダッシュボード」を開きます。

Voilà。システムログに何かが含まれている限り、データを視覚化することができます。

注：Filebeatから明らかなエラーがなく、Kibanaにデータがない場合は、システムのシステムログが非常に静かである可能性があります。一部のデータを表示するには、日付ピッカーをデフォルトの「過去15分」よりも少し遠くに戻す必要がありました。

まとめ

これは、Beatsを最も一般的なユースケースでさらに使いやすくするための非常に優れたステップであり、この例の基本は、現在利用可能な他のモジュールにも簡単に拡張できます。たとえば、多くのWebアプリ（WordPress、Drupal、Magentoなど）には、Webサーバーとその背後にあるmysqlがあります。この1セットのモジュールと1つのコマンドを使用すると、Webサーバー、データベース、およびそのアプリケーションのシステムログのログの送信をすべて1つのステップで開始できます。

詳細情報を探していて、これらのモジュールがどのように構築されているかを調べたい場合は、開発者向けドキュメントを確認して、Filebeatインストールのモジュールディレクトリを調べてください。モジュールが使用しているプロスペクター、パイプライン、テンプレート、およびビジュアライゼーションを、Kibanaで表示されているものと一致させることができるはずです。