USER MANUALS

Hive

Denodo 組み込み MPP は、Parquet ファイルの Hive テーブルにアクセスするために 組み込み Hive メタストア に接続される、 hive という名前の事前定義されているカタログとともに配布されます。

hive.properties
connector.name=hive-hadoop2

# Embedded Hive Metastore
hive.metastore.uri=thrift://hive-metastore:9083

Parquet

Parquet データセットをクエリするには、Denodo 組み込み MPP で Hive テーブルを作成する必要があります。そのために、Denodo で 組み込み MPP データソース を使用して、 グラフィカル に Parquet データセット (Hive スタイルのパーティション分割を使用するデータセットを含む) を確認し、MPP のテーブルや Denodo の基本ビューを作成できます。

Explore Parquet files

Parquet ファイルの確認

重要

グラフィカル に Parquet データセットを確認するには、Denodo エンタープライズプラスサブスクリプションバンドルと更新プログラム 8.0u20230301 が必要です。

機能

Denodo 組み込み MPP が提供する Parquet ファイルを扱う機能を以下に示します。

制限事項

  • 挿入: 組み込み MPP データソースの [From Object Storage] タブを使用して Parquet ファイルから作成したビューにデータを挿入することはできません。

    詳細については、「 Parquet ファイルから作成されたビューの管理 」を参照してください。

Avro、CSV、ORC

Avro、CSV、ORC など、Parquet 以外のファイル形式のデータセットをクエリするには、Denodo 組み込み MPP に Hive テーブルを作成する必要があります。その場合、Denodo 組み込み MPP データソースにはグラフィカルな方法が存在しないため、JDBC クライアントを使用する必要があります。次に、組み込み MPP データソースの [From MPP Catalogs] タブを使用して、作成した Hive テーブルから Denodo 基本ビューを作成します。

手順を以下に示します。

  1. 組み込み MPP データソースの [From MPP Catalogs] タブから hive という名前の事前定義されているカタログにアクセスすることはできないため、組み込み MPP に新しいカタログを作成します。

    たとえば、 presto/conf/catalog/hive_orc_formats という名前の新しいカタログプロパティファイルを追加します。次に、 connector.name プロパティにカタログタイプ``hive-hadoop2`` を追加し、このカタログタイプに必要な他のプロパティを追加します。

    以下に、Avro、CSV、または ORC のデータセットを読み込むために 組み込み Hive メタストア に接続する Hive カタログプロパティの例を示します。

     connector.name=hive-hadoop2
 hive.metastore.uri=thrift://hive-metastore:9083

 hive.config.resources=/opt/presto-server/etc/catalog/core-site.xml

 hive.allow-drop-table=true
 hive.non-managed-table-writes-enabled=true

  2. JDBC クライアントを使用して、組み込み MPP に上記の Hive テーブルを作成します。このような単純な SQL クエリの場合、以下に示す Presto UI を使用できます。この SQL クエリエディターには、クエリあたりで返されるのは最大 100 レコードのみという制限事項があります。

    Create Hive table from ORC datasets

    ORC データセットから Hive テーブルを作成

  3. 次に、組み込み MPP データソースの [From MPP Catalogs] タブを使用して、前に作成した Hive テーブルから Denodo 基本ビューを作成します。

Add feedback