USER MANUALS

Denodo MPP によるデータ一括読み込み

Denodo 組み込み MPP データソースを使用して、Denodo からのデータ一括読み込みを実行できます。この場合、Denodo サーバーは以下の処理を実行します。

  1. まず、挿入するデータを収めた一時ファイルを Parquet ファイル形式で生成します (Delta Lake 形式と Iceberg テーブル形式はサポートされていません)。

  2. 次に、該当のファイルを、このセクションで構成した特定のパス HDFS URI にアップロードします。

  3. 最後に、指定したパスからデータベーステーブルがデータを取り込むために必要な操作を行います。

詳細については、Denodo の「 HDFS や S3 などの分散オブジェクトストレージへのデータ一括読み込み 」の説明を参照してください。

構成

Denodo 組み込み MPP データソースでデータの一括読み込みを設定する前に、Denodo が作成する Parquet ファイルを配置する場所を設定する新しいスキーマを、Denodo 組み込み MPP で作成する必要があります。

それには、Denodo ストアドプロシージャ CREATE_SCHEMA_ON_SOURCE を使用できます。

CALL CREATE_SCHEMA_ON_SOURCE(
   'admin_denodo_mpp',
   'embedded_mpp',
   'hive',
   'test',
   '<filesystem_schema>://<host>/<folders>');

データ一括読み込みを構成するには、 embedded_mpp データソースの [Read & Write] タブで [Use Bulk Data Load APIs] をチェックし、少なくとも以下のパラメータを入力します。

  • HDFS URI

  • Server time zone

  • Catalog

  • Schema

Configure Bulk Data Load

embedded_mpp のデータ一括読み込みの構成

次に、選択したファイルシステムによっては、いくつかの Hadoop properties を追加し、認証を構成する必要があります。「 Hadoop 互換ルートのサポート 」のセクションを参照してください。

Azure Data Lake Storage へのアクセスを構成するプロパティを以下の例に示します。

Configure Azure Data Lake Storage properties

Azure Data Lake Storage のプロパティの構成

最後に [Test bulk load] ボタンをクリックし、すべて正常に動作していることを確認します。

Add feedback