一般的なアーキテクチャ

Denodo Scheduler は、異なるデータソースからの自動データ抽出ジョブを時間ベースでスケジュールするためのツールです。具体的には、Web 管理ツールを使用して異なる抽出ジョブの構成を定義したり、この情報を永続的に保存したり、対応するデータサーバーに対するこれらのジョブの実行を必要に応じて計画したりできます。

Denodo Scheduler では、Denodo Virtual DataPort サーバーに対して抽出ジョブを定義できます。取得したデータは、異なるリポジトリに異なる形式でエクスポートできます。また、ジョブが Virtual DataPort キャッシュにデータを定期的にプリロードできるようになります。

一般的なレベルでは、すべてのジョブに対して時間ベースのスケジュール (実行のタイミングと頻度) を構成できます。抽出ジョブの場合は、ジョブによって取得された結果のエクスポート方法を構成できます。使用可能なエクスポーターは次のとおりです: - 最終結果をデータベースにダンプする。- インデックスサーバーで最終結果のインデックスを作成する。- 最終結果を CSV タイプのファイルにダンプする (MS の Excel 互換ファイルを生成するために使用することもできます)。

また、プログラマーは特別なニーズに対応する新しいエクスポーターを作成することもできます。

図「 Denodo Scheduler Architecture 」には、サーバーの基本的なアーキテクチャが示されています。Scheduler では、ジョブのほかに、ジョブとエクスポーターによって使用されるデータソースを定義できます。Denodo Scheduler では、Denodo Virtual DataPort サーバー、リレーショナルデータベース、区切り付きファイル、Scheduler Index サーバー、および Elasticsearch サーバー用のデータソースを定義できます。

ジョブを定義するときに、一連の変数によってパラメーター化されたクエリと、それらの変数に指定可能な値を指定できるため、対応するサーバーに対して複数のクエリが実行されます。

Denodo Scheduler Architecture

Denodo Scheduler のアーキテクチャ

Denodo Scheduler の 2 通りの典型的な使用例について以下で簡単に説明します。

: データ抽出とエクスポート

顧客の Tax ID を指定して一度に 1 人の顧客のみをクエリできる Virtual DataPort ビューを介してアクセス可能な顧客から情報を定期的に抽出し、指定された顧客に関する重要な情報を応答として返すものとします。クエリされるすべての Tax ID のリストは、JDBC を介してアクセス可能な内部データベース内で使用できます。抽出されたデータセットは、同様にJDBC を介してアクセス可能な別の内部データベースにダンプする必要があります。Denodo Scheduler でこのジョブを実行するための手順は、以下のとおりです。

  1. 新しい JDBC タイプのデータソースを Scheduler に追加し、必要な顧客の Tax ID を含むデータベースにアクセスします (JDBC データソースの追加方法については、「 JDBC データソース 」のセクションを参照)。

  2. 別の新しい JDBC データソースを Scheduler に追加し、抽出したデータのダンプ先となるデータベースにアクセスできるようにします。

  3. 新しい VDP タイプのデータソースを Scheduler に追加 (または、既存のデータソースを使用) し、クエリされるビューを含む Virtual DataPort サーバーにアクセスします (VDP データソースの追加方法については、「 VDP データソース 」を参照)。

  4. Scheduler で VDP タイプのジョブを作成し、手順 3 で定義した VDP データソースを使用するようそのジョブを構成します (「 新しいジョブの構成 」のセクションを参照)。VDP ジョブは Tax ID フィールドに指定された異なる値ごとにビューをクエリします。Tax ID フィールドの異なる値を取得するには、手順 1 で定義した JDBC データソースへのクエリが使用されます。

  5. VDP ジョブ用の JDBC タイプのエクスポーターを作成します (「 エクスポーターセクション 」のセクションを参照)。このエクスポーターは手順 2 で定義された JDBC データソースを使用します。

  6. 最後に、Scheduler 内でジョブを実行する頻度を構成します (「 時間ベースのジョブスケジュールセクション 」のセクションを参照)。

: データキャッシュ

Virtual DataPort ビューのキャッシュを定期的に更新するものとします。Denodo Scheduler でこのジョブを実行するためには、以下の手順に従ってください。

  1. 新しい VDP タイプのデータソースを Scheduler に追加 (または、既存のデータソースを使用) し、クエリされるビューを含む Virtual DataPort サーバーにアクセスします (VDP データソースの追加方法については、「 VDP データソース 」を参照)。

  2. Scheduler で VDPCache タイプのジョブを作成し、前出の手順で定義した VDP データソースを使用するようそのジョブを構成します (「 新しいジョブの構成 」のセクションを参照)。キャッシュを更新するビューと、さまざまな仕様可能なキャッシュオプションを構成します。

  3. 最後に、Scheduler 内でジョブを実行する頻度を構成します (「 時間ベースのジョブスケジュールセクション 」のセクションを参照)。