USER MANUALS

Hive

Denodo 組み込み MPP は、Parquet ファイルの Hive テーブルにアクセスするために 組み込み Hive メタストア に接続される、 hive という名前の事前定義されているカタログとともに配布されます。

hive.properties
connector.name=hive-hadoop2

# Embedded Hive Metastore
hive.metastore.uri=thrift://hive-metastore:9083

Parquet

Parquet データセットをクエリするには、Denodo 組み込み MPP で Hive テーブルを作成する必要があります。そのために、Denodo で 組み込み MPP データソース を使用して、 グラフィカル に Parquet データセット (Hive スタイルのパーティション分割を使用するデータセットを含む) を確認し、MPP のテーブルや Denodo の基本ビューを作成できます。

Explore Parquet files

Parquet ファイルの確認

重要

グラフィカル に Parquet データセットを確認するには、Denodo エンタープライズプラスサブスクリプションバンドルが必要です。オブジェクトストレージをグラフィカルに接続する方法の詳細については、 Parquet、Delta、Iceberg 形式のオブジェクトストレージデータ で確認できます。

注釈

Hive は制限付きのカタログであるため、組み込み MPP データソースの [From MPP Catalogs] タブには表示されません。

機能

Denodo 組み込み MPP が提供する Parquet ファイルを扱う機能を以下に示します。

制限事項

Avro、CSV、ORC

Avro、CSV、ORC など、Parquet 以外のファイル形式のデータセットをクエリするには、Denodo 組み込み MPP に Hive テーブルを作成する必要があります。その場合、Denodo 組み込み MPP データソースにはグラフィカルな方法が存在しないため、JDBC クライアントを使用する必要があります。次に、組み込み MPP データソースの [From MPP Catalogs] タブを使用して、作成した Hive テーブルから Denodo 基本ビューを作成します。

手順を以下に示します。

  1. 組み込み MPP データソースの [From MPP Catalogs] タブから hive という名前の事前定義されているカタログにアクセスすることはできないため、組み込み MPP に新しいカタログを作成します。

    たとえば、 presto/conf/catalog/hive_orc_formats という名前の新しいカタログプロパティファイルを追加します。次に、 connector.name プロパティにカタログタイプ``hive-hadoop2`` を追加し、このカタログタイプに必要な他のプロパティを追加します。

    以下に、Avro、CSV、または ORC のデータセットを読み込むために 組み込み Hive メタストア に接続する Hive カタログプロパティの例を示します。

     connector.name=hive-hadoop2
     hive.metastore.uri=thrift://hive-metastore:9083
    
     hive.config.resources=/opt/presto-server/etc/catalog/core-site.xml
    
     hive.allow-drop-table=true
     hive.non-managed-table-writes-enabled=true
    
  2. JDBC クライアントを使用して、組み込み MPP に上記の Hive テーブルを作成します。このような単純な SQL クエリの場合、以下に示す Presto UI を使用できます。この SQL クエリエディターには、クエリあたりで返されるのは最大 100 レコードのみという制限事項があります。

    Create Hive table from ORC datasets

    ORC データセットから Hive テーブルを作成

  3. 次に、組み込み MPP データソースの [From MPP Catalogs] タブを使用して、前に作成した Hive テーブルから Denodo 基本ビューを作成します。

Add feedback