Delta Lake¶

Delta Lake は、Parquet データファイルを拡張し、ACID トランザクション向けのファイルベースのトランザクションログと拡張性の高いメタデータ処理を備えたテーブル形式です。

Denodo 組み込み MPP は、Delta Lake テーブルにアクセスするために 組み込み Hive メタストア に接続される、 delta という名前の事前定義されているカタログとともに配布されます。

connector.name=delta

# Embedded Hive Metastore
hive.metastore.uri=thrift://hive-metastore:9083

Delta Lake テーブルをクエリするには、 CREATE TABLE 文を使用して、これらのテーブルを 手動で 組み込み MPP のメタストアに登録する必要があります。スキーマとデータファイルリストが、Delta Log の中でテーブルと同じ場所にあることから、メタストアの列なしエラーを回避するために、Delta Lake テーブルのスキーマとしてダミー列を指定する必要があります。

CREATE TABLE delta.default.orders (
   dummy bigint
) WITH (
  external_location = 'abfs://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file_name>',
  format = 'PARQUET'
);

CREATE TABLE の WITH 句を使用して、他のプロパティをテーブルに設定することもできます。「 Delta Lake テーブルのプロパティ 」を参照してください。

Delta Lake テーブルを登録した後、Denodo で 組み込みデータソース の [From MPP Catalogs] タブを使用して、登録した Delta Lake テーブルから基本ビューを作成できます。

Delta Lake テーブルの確認¶

SELECT * FROM
   delta."$path$"."abfs://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file_name>";