ビッグデータ活用に最適なオープンソースデータ抽出(ETL)ツール ベスト10

これまでの連載では、ビッグデータのさまざまな側面や分析手法、さらには「ビッグデータ参照アーキテクチャの各層の機能」について取り上げてきました。今回もその流れを受けて、「おすすめのオープンソースデータ抽出ツール ベスト10」を詳しく解説します。

ETLツールとは?基本の3フェーズを理解しよう

ビッグデータのデータ抽出ツールは、さまざまなソースからデータを収集し、構造化された形式へと変換する役割を担います。一般的に「ETL(Extract Transform and Load)」と呼ばれるこれらのツールの機能は、以下の3つのフェーズに分けられます。

• 均質・異種を問わず、各データソースからデータを抽出(Extract)
• クエリや分析に適した形式・構造へデータを変換(Transform)
• 最終ターゲット(データベース、運用データストア、データマート、データウェアハウスなど)へロード(Load)

通常、ETLツールではこの3つのフェーズが並行して実行されます。データ抽出には時間がかかるため、データの取得中に別の変換プロセスがすでに受信したデータを処理し、ロード準備を整えます。そしてロード可能なデータができ次第、前段階の完了を待たずにロード処理が開始される仕組みです。

それでは、特におすすめのオープンソースデータ抽出(ETL)ツール10選をご紹介します。

1. Talend Open Studio

Talend Open Studioは、市場で最も強力なデータ統合ETLツールのひとつです。データ管理およびアプリケーション統合プロジェクトの開発・テスト・デプロイ・管理まで幅広くカバーする、多用途なオープンソース製品群です。

ETLプロジェクト向けの「Talend Open Studio for Data Integration」は、オープンソース版と商用版の両方を提供しています。直感的なEclipseベースのインターフェースを持つグラフィカルな統合開発環境、ドラッグ&ドロップによるデザインフロー、データベース・メインフレーム・ファイルシステム・Webサービス・パッケージ化されたエンタープライズアプリケーション・データウェアハウス・OLAPアプリケーション・SaaS・クラウドアプリケーションなどを接続できる400以上の事前設定済みコネクタなど、豊富な機能セットが魅力です。

2. Scriptella

ScriptellaはApacheが提供するオープンソースETLツールで、抽出・変換・ロードの各プロセスに加え、Javaスクリプトの実行にも対応しています。非常にシンプルで扱いやすく、その手軽さから多くのユーザーに支持されています。主な機能としては、SQL・JavaScript・JEXL・Velocityで記述されたスクリプトの実行、LDAP・JDBC・XMLなどのデータソースとの相互運用、クロスデータベースETL操作、CSV・テキスト・XMLなどの形式とのインポート/エクスポートが挙げられます。

3. KETL

KETLは、データウェアハウジング向けに最も優れたオープンソースツールのひとつです。Java中心の構造にXMLやその他の言語を組み合わせて構成されており、エンジンはオープンでマルチスレッド対応のXMLベースアーキテクチャ上に構築されています。セキュリティやデータ管理ツールとの統合サポート、複数サーバーやCPU、あらゆるデータ量に対する実証済みのスケーラビリティ、サードパーティ製のスケジュール管理・依存関係・通知ツールが不要である点などが主な特徴です。

4. Pentaho Data Integrator – Kettle

Pentahoによると、同社はデータ統合機能としてETLツールを提供するBIベンダーであり、そのETL機能はKettleプロジェクトに基づいています。KettleはJavaアプリケーション兼ライブラリで、XML形式で記述された手順のインタプリタとして動作します。JavaScriptエンジンを備えており、データ操作プロセスをきめ細かく調整できるほか、複雑なETL手順を構築するために必要な機能をすべて揃えた優れたツールです。

Kettle(PDI)はPentaho Business Intelligence Suiteのデフォルトツールです。KettleライブラリとJavaインタプリタがインストールされていれば、Pentahoプラットフォーム外でも手順を実行可能です。

5. Jaspersoft ETL

Jaspersoft ETLは導入が簡単で、多くのプロプライエタリ製品や他のオープンソースETLシステムを上回るパフォーマンスを発揮します。トランザクションシステムからデータを抽出し、レポートや分析用の統合データウェアハウスまたはデータマートを構築するために活用されます。技術者以外でも情報ワークフローを俯瞰できるビジネスモデラー、グラフィカル編集ツールJob DesignerによるETLプロセスの表示・編集、Transformation Mapperなどの変換コンポーネントによる複雑なマッピングや変換の定義などが主な機能です。

さらに、リアルタイムデバッグによるETL統計の始点から終点までの追跡、フラットファイル・XMLファイル・データベース・Webサービス・POP/FTPサーバーなど複数ソース間の同時入出力(数百のコネクタが利用可能)、アクティビティ監視コンソールによるジョブイベント・実行時間・データ量の監視にも対応しています。

6. GeoKettle

GeoKettleは、汎用ETLツールKettle(Pentaho Data Integration)の空間データ対応版です。地理空間データウェアハウスの構築・更新のために、さまざまな空間データソースの統合に特化した、強力なメタデータ駆動型Spatial ETLツールです。

データソースからのデータ抽出、エラー修正やデータクレンジング、データ構造の変更、定義済み標準への準拠といった変換処理、そして変換後のデータをOLTPまたはOLAP/SOLAPモード、GISファイル、Geospatial Web ServiceとしてターゲットDBMSへロードすることを可能にします。

7. Clover ETL

Clover ETLは、チェコ共和国の企業OpenSysが主導するプロジェクトです。Javaベースのデュアルライセンスを採用するオープンソースで、商用ライセンス版では保証とサポートが提供されます。システムインテグレーターやISVが組み込みやすい軽量なフットプリントが特徴で、マッピングや変換を含む基本的な関数ライブラリの構築を目指しています。エンタープライズサーバー版は商用提供となっています。

8. HPCC Systems

HPCC Systemsは、Thorと呼ばれるデータリファイナリエンジンを備えた、ビッグデータ分析用のオープンソースプラットフォームです。Thorはビッグデータのクレンジング、リンク、変換、分析を行い、非構造化/構造化データの取り込み、データプロファイリング、データクレンジング、データリンクといったETL機能を標準で提供します。Thorで処理されたデータは、データ配信エンジンRoxieを通じて、多数のユーザーがリアルタイムで同時アクセスできます。Roxieは高い同時実行性と低遅延のリアルタイムクエリ機能を提供します。

9. Jedox

JedoxはオープンソースのBIソリューションツールです。戦略立案・計画、調査、カバレッジ管理、そしてETL概念に関わる一連のプロセスを管理するためのツールです。オープンコアはインメモリOLAPサーバー、ETLサーバー、OLAPクライアントライブラリで構成されており、Jedox OLAPサーバーをソースおよびターゲットシステムとして強力にサポートします。OLAP分析における複雑な課題を克服する能力を備え、このETLツールを使えば従来型のモデルをOLAPモデルへ変換できます。

キューブやディメンションの操作はこれほど簡単になったことはありません。頻繁に必要となる時間階層を柔軟に生成し、ソースシステムのリレーショナルモデルを効率的にOLAPモデルへ変換できるのがJEDOX ETLです。

10. Apatar ETL

Apatar ETLは、オープンソースパッケージでありながら比類のない機能セットを提供します。Oracle、MS SQL、MySQL、Sybase DB2、MS Access、PostgreSQL、XML、InstantDB、Paradox、BorlandJDataStore、CSV、MS Excel、Qed、HSQL、SalesForce.Comなどへの接続に対応しています。すべての統合プロジェクトを単一インターフェースで管理でき、柔軟なデプロイメントオプション、双方向統合、Windows・Linux・Macで動作するプラットフォーム非依存設計、100% Javaベース、コーディング不要、ビジュアルジョブデザイナーとマッピング機能により、開発者以外でも変換の設計・実行が可能です。

まとめ:オープンソースツールの限界と今後の展望

オープンソースツールには、高度な機能、ストレージ機能、先進的な分析機能などの面で何らかの制限があるのが実情です。本格的な運用を検討している場合は、ライセンス版ツールの利用をおすすめします。次回の記事では、ライセンス版のデータ抽出ツールについて詳しく取り上げる予定です。