ビッグデータのオープン ソース データ抽出ツール トップ 10

前回ビッグデータについて話したとき、さまざまなビッグデータ分析手法について話しました。その前に、ビッグデータのさまざまな側面について話しました。私のブログの 1 つで、「ビッグ データ リファレンス アーキテクチャ レイヤーの機能」 について説明しました。 .前に述べたように、このブログでは、「トップ 10 のオープン ソース データ抽出ツール」 について説明します。 .

ビッグデータのデータ抽出ツールは、さまざまなソースからデータを収集し、構造化された形式に変換するのに役立ちます。これらのツールのより一般的な用語は、「ETL – Extract Transform and Load」 です。 .これらのツールの機能は、以下に説明する 3 つのフェーズに分けることができます:

• 同種または異種のデータ ソースからデータを抽出する
• データを変換して、クエリと分析の目的で適切な形式または構造に保存する
• 最終ターゲット (データベース、より具体的には、オペレーショナル データ ストア、データ マート、またはデータ ウェアハウス) にロードします。

通常、ETL ツールでは、データの抽出に時間がかかるため、3 つのフェーズすべてが並行して実行されます。そのため、データがプルされている間に別の変換プロセスが実行され、既に受信したデータが処理され、ロード用のデータを準備し、ターゲットにロードする準備が整ったデータがあるとすぐに、前のフェーズの完了を待たずにデータのロードが開始されます。

オープンソースのデータ抽出または ETL ツールのトップ 10 を以下に示します。

1. Talend オープン スタジオ:

Talend Openstudio は、市場で最も強力なデータ統合 ETL ツールの 1 つです。 Talend Open Studio は、データ管理およびアプリケーション統合プロジェクトの開発、テスト、展開、および管理のためのオープン ソース製品の汎用セットです。

ETL プロジェクトの場合、Talend Open Studio for Data Integration は、オープン ソース版と商用版の両方で、データ統合のための複数のソリューションを提供します。 Talend は、直感的な Eclipse ベースのインターフェースを備えたグラフィカルな統合開発環境を含む、豊富な機能セットを提供します。ドラッグ アンド ドロップの設計フローと、データベース、メインフレーム、ファイル システム、Web サービス、パッケージ化されたエンタープライズ アプリケーション、データ ウェアハウス、OLAP アプリケーション、Software-as-a の間を橋渡しする 400 を超える事前構成済みのアプリケーション コネクタとの幅広い接続性-サービス、クラウドベースのアプリケーションなど

2.スクリプテラ:

Scriptella は、Apache によって起動されたオープン ソースの ETL ツールであり、抽出、変換、ロード プロセスの機能とともに、Java スクリプトの実行にも使用されます。非常にシンプルで使いやすいツールで、基本的に使いやすさから人気があります。機能には、SQL、JavaScript、JEXL、Velocity で記述されたスクリプトの実行が含まれます。データベースの移行、LDAP、JDBC、XML、およびその他のデータ ソースとの相互運用性。 Cros Database ETL 操作、CSV、テキスト、XML、その他の形式との間のインポート/エクスポート

3.ケトル:

KETL は、データ ウェアハウジングに最適なオープン ソース ツールの 1 つです。これは、XML やその他の言語とともに Java 指向の構造で構成されています。このエンジンは、オープンでマルチスレッドの XML ベースのアーキテクチャに基づいて構築されています。 KETL の主な機能には、セキュリティ ツールとデータ管理ツールの統合のサポート、複数のサーバーと CPU および任意の量のデータにわたる実証済みのスケーラビリティが含まれ、サード パーティのスケジュール、依存関係、および通知ツールを追加する必要はありません。

4. Pentaho データ インテグレーター – ケトル:

Pentaho 自身によると、データ統合の機能として ETL ツールを提供するのは BI プロバイダーです。これらの ETL 機能は、Kettle プロジェクトに基づいています。 Javaアプリケーションとライブラリです。 Kettle は、XML 形式で記述されたプロシージャーのインタープリターです。 Kettle は、データ操作プロセスを微調整するための Java Script エンジンを提供します。 Kettle も優れたツールであり、複雑な ETL 手順を構築するために必要なものがすべて揃っています。 Kettle は、XML 形式で記述された ETL プロシージャのインタプリタです。

ケトル (PDI) は Pentaho Business Intelligence Suite のデフォルト ツールです。すべての Kettle ライブラリと Java インタープリターがインストールされている場合、手順は Pentaho プラットフォームの外部でも実行できます。

5. Jaspersoft ETL:

Jaspersoft ETL は展開が簡単で、多くの独自仕様やオープン ソースの ETL システムより優れたパフォーマンスを発揮します。これは、トランザクション システムからデータを抽出して、レポートおよび分析用の統合データ ウェアハウスまたはデータ マートを作成するために使用されます。機能には、情報ワークフローの非技術的なビューにアクセスするためのビジネス モデラー、グラフィカルな編集ツールである Job Designer を使用した ETL プロセスの表示と編集、Transformation Mapper およびその他の変換コンポーネントを使用した複雑なマッピングと変換の定義が含まれます。

リアルタイム デバッグで ETL 統計を最初から最後まで追跡する機能もあり、フラット ファイル、XML ファイル、データベース、Web などの複数のソースからの同時出力と入力が可能です。サービス、数百の利用可能なコネクタを備えた POP および FTP サーバー、およびアクティビティ監視コンソールを使用してジョブ イベント、実行時間、およびデータ ボリュームを監視します。

6.ジオケトル:

GeoKettle は、汎用 ETL ツール Kettle (Pentaho Data Integration) の空間対応バージョンです。 GeoKettle は、地理空間データ ウェアハウスを構築および更新するためのさまざまな空間データ ソースの統合に特化した、強力なメタデータ主導の空間 ETL ツールです。

データ ソースからのデータの抽出、エラーの修正、データ クレンジングの実行、データ構造の変更、定義された標準への準拠のためのデータの変換を可能にします。変換されたデータを、OLTP または OLAP/SOLAP モード、GIS ファイル、または地理空間 Web サービスでターゲット データベース管理システム (DBMS) にロードします。

7.クローバー ETL:

このプロジェクトは、チェコ共和国に本拠を置く OpenSys によって監督されています。 Java ベースのデュアル ライセンスのオープン ソースであり、商用ライセンス バージョンでは保証とサポートが提供されます。その製品には、システム インテグレーターや ISV が簡単に組み込むことができる小さなフットプリントがあります。マッピングや変換を含む関数の基本的なライブラリを作成することを目的としています。そのエンタープライズ サーバー エディションは商用製品です。

8. HPCC システム:

HPCC Systems は、Thor と呼ばれる Data Refinery エンジンを使用したビッグ データ分析用のオープンソース プラットフォームです。 Thor は、ビッグデータをクリーンアップ、リンク、変換、分析します。 Thor は、非構造化/構造化データの取り込み、データ プロファイリング、データ衛生、すぐに使えるデータ リンクなどの ETL (抽出、変換、読み込み) 機能をサポートしています。 Thor で処理されたデータは、データ配信エンジンである Roxie を使用して、多数のユーザーがリアルタイムで同時にアクセスできます。 Roxie は、高度な同時実行性と低遅延のリアルタイム クエリ機能を提供します。

9.ジェドックス:

Jedox は、オープン ソースの BI ソリューション ツールです。この特定のツールは、パフォーマンス保持戦略の計画、調査、カバレッジ、および ETL の概念に関連するプロセスを管理するためのものです。 Open Core は、インメモリ OLAP サーバー、ETL サーバー、および OLAP クライアント ライブラリで構成されます。ソースおよびターゲット システムとして Jedox OLAP サーバーを強力にサポートするツールは、OLAP 調査の複雑さを克服する機能を備えています。この特定の ETL ツールを使用すると、従来のモデルを OLAP モデルに変換できます。

キューブとディメンションの操作がこれまでになく簡単になりました。 JEDOX ETL を使用して、頻繁に必要とされる時間階層を柔軟に生成し、ソース システムのリレーショナル モデルを OLAP モデルに効率的に変換します。

10. Apatar ETL:

Apatar ETL は、オープン ソース パッケージで一連の比類のない機能を提供します。機能には、Oracle、MS SQL、MySQL、Sybase DB2、MS Access、PostgreSQL、XML、InstantDB、Paradox、BorlandJDataStore、Csv、MS Excel、Qed、HSQL、SalesForce.Com などへの接続が含まれます。すべての統合を管理する単一のインターフェイスがあります。プロジェクト、柔軟な展開オプション、双方向統合、プラットフォームに依存しない、Windows、Linux、Mac からの実行。 100% Java ベース、コーディング不要、視覚的なジョブ デザイナーとマッピングにより、開発者以外でも変換を設計および実行できます。

オープン ソース ツールには常に、高度な機能、ストレージ機能、高度な分析機能などに関する制限があります。そのため、ライセンスされたツールを使用することをお勧めします。次回のブログでは、ライセンス データ抽出ツールについて説明します。