概要¶

更新プログラム 8.0u20230301 以降、Denodo は、 Presto に基づく独自の MPP エンジンである Denodo 組み込み MPP を組み込んできました。

Presto は、ビッグデータ向けの高性能な分散 SQL クエリエンジンです。元々は Facebook がその大規模なデータセット上でセルフサービス分析を提供するために作成したものであり、現在はオープンソースになっています。

Denodo 組み込み MPP の主な目標は、Data Lake のコンテンツであるParquet ファイル、Delta Lake テーブル、および Apache Iceberg テーブルに、SQL のみを使用する簡単な方法で効率的にアクセスできるようにすることです。

また、Denodo 組み込み MPP があれば、他の外部エンジンを使用する必要はなくなります。MPP エンジンとオブジェクトストレージを使用することで、キャッシュ、クエリ高速化、リモートテーブル、サマリなど、ストレージを必要とする Denodo 機能をすぐに利用できます。

Denodo 組み込み MPP を使用するための主な手順を以下に示します。

1. オブジェクトストレージにデータセットを保存します。Denodo 組み込み MPP は、以下のような多くの分散ストレージシステムからデータを読み込むことができます。

   • Amazon S3

   • S3 互換ストレージ

   • Azure Data Lake Storage Gen2

   • Google Cloud Storage

   • Hadoop Distributed File System (HDFS)

2. Denodo 組み込み MPP を Helm チャートを使用して Kubernetes にデプロイし、Denodo Platform にデータソースとして登録します。

3. オブジェクトストレージで Parquet ファイル形式で保存されているデータをグラフィカルに確認し、それに対応するテーブルを組み込み MPP に、基本ビューを Denodo にそれぞれ作成します。

4. MPP の高速化を使用して Denodo で Data Lake をクエリします。

5. キャッシュ、リモートテーブル、サマリなどの Denodo の機能を使用して、Parquet ファイル形式でデータを Data Lake に読み込みます。

SET 'queryOptimization.parallelProcessing.denodoConnector.enableUsingSharedMetadataOnly'='false';