USER MANUALS

概要

Denodo は、 Presto に基づく独自の MPP エンジン Denodo 組み込み MPP を組み込みました。

Embedded MPP at Denodo

重要

Denodo 組み込み MPP を使用するには、 エンタープライズプラス サブスクリプションバンドルが必要です。

Presto は、ビッグデータ向けの高性能な分散 SQL クエリエンジンです。元々は Facebook がその大規模なデータセット上でセルフサービス分析を提供するために作成したものであり、現在はオープンソースになっています。

Denodo 組み込み MPP の主な目標は、Data Lake のコンテンツであるParquet ファイル、Delta Lake テーブル、および Apache Iceberg テーブルに、SQL のみを使用する簡単な方法で効率的にアクセスできるようにすることです。

また、Denodo 組み込み MPP があれば、他の外部エンジンを使用する必要はなくなります。MPP エンジンとオブジェクトストレージを使用することで、キャッシュ、クエリ高速化、リモートテーブル、サマリなど、ストレージを必要とする Denodo 機能をすぐに利用できます。

Denodo 組み込み MPP を使用するための主な手順を以下に示します。

  1. オブジェクトストレージにデータセットを保存します。Denodo 組み込み MPP は、以下のような多くの分散ストレージシステムからデータを読み込むことができます。

    • Amazon S3

    • S3 互換ストレージ

    • Azure Data Lake Storage Gen2

    • Google Cloud Storage

    • Hadoop Distributed File System (HDFS)

  2. Denodo 組み込み MPP を Helm チャートを使用して Kubernetes にデプロイし、Denodo Platform にデータソースとして登録します。

  3. オブジェクトストレージで Parquet ファイルまたは Delta Lake テーブル形式で保存されているデータをグラフィカルに確認し、組み込み MPP に対応するテーブルを、Denodo に基本ビューを、それぞれ作成します。

  4. MPP の高速化を使用して Denodo で Data Lake をクエリします。

  5. キャッシュ、リモートテーブル、サマリなどの Denodo の機能を使用して、Parquet ファイルまたは Iceberg テーブル形式でデータを Data Lake にロードします。

注釈

Denodo サーバーのクラスタを使用している場合、組み込み MPP の高速化 の手法を利用するために、 そのクラスタのメタデータが外部データベースに保存される ようにクラスタを構成する必要があります。Virtual DataPort サーバーが 1 台のみの環境では、次を実行することでこの制限を回避できます。

SET 'queryOptimization.parallelProcessing.denodoConnector.enableUsingSharedMetadataOnly'='false';
Add feedback