Iceberg¶

Apache Iceberg は、大規模な分析データセットの高性能テーブル形式です。Iceberg テーブルは、スキーマの進化、パーティションの進化、およびテーブルバージョンのロールバックを実行でき、テーブルの書き換えや移行は必要ありません。

Denodo 組み込み MPP は、Iceberg テーブルにアクセスするために 組み込み Hive メタストア に接続される、 iceberg という名前の事前定義されているカタログとともに配布されます。

connector.name=iceberg

# Embedded Hive Metastore
hive.metastore.uri=thrift://hive-metastore:9083

Denodo 組み込み MPP 8.0.20240506 以降、Iceberg テーブルは、そのテーブルデータとメタデータがオブジェクトストレージに既に存在することから、 register_table プロシージャを使用してターゲットスキーマ、希望するテーブル名、およびテーブルメタデータの位置を指定することによって、カタログに登録できます。

CALL iceberg.system.register_table(
   'default',
   'denodo_iceberg_table',
   's3a://bucket/path/to/iceberg/table/')

Iceberg テーブルを登録した後、Denodo で 組み込みデータソース の [From MPP Catalogs] タブを使用して、登録した Iceberg テーブルから Denodo 基本ビューを作成できます。

Iceberg テーブルの確認¶

Iceberg および組み込み MPP Iceberg コネクターは、一意のスナップショット ID で指定されるテーブルスナップショットを使用したタイムトラベルをサポートします。スナップショット ID は、 $snapshots メタデータテーブルに保存されます。ストアドプロシージャの ROLLBACK_ICEBERG_VIEW_TO_SNAPSHOT と GET_ICEBERG_VIEW_SNAPSHOTS を使用して、テーブルの状態を以前のスナップショット ID にロールバックできます。これらのストアドプロシージャは、 8.0u20240306 更新プログラムに用意されています。