Snowflake Open Catalog¶

Snowflake Open Catalog を使用して Iceberg テーブルを管理しており、これらのテーブルに Denodo Lakehouse Accelerator からアクセスしたい場合、Snowflake Open Catalog を外部メタストアとして使用するように Denodo Lakehouse Accelerator を構成できます。

Snowflake Open Catalog に接続するには、Denodo Lakehouse Accelerator の構成内に新しいカタログを定義する必要があります。

新しいカタログを定義する際に 推奨される方法 は、 values.yaml ファイルで presto.catalog プロパティを使用する方法です。このアプローチを使用すると、管理とバージョンのアップグレードが簡素化されます。新しいカタログを構成すると、Denodo Lakehouse Accelerator データソースの [External Catalogs] タブからこのカタログにアクセスできるようになります。

[External Catalogs] での Snowflake Open Catalog のビューの作成¶

以下に、Snowflake Open Catalog に接続するように values.yaml 内で構成された、 snowflakeopencatalog という名前の Iceberg カタログの例を示します。

  catalog:
    snowflakeopencatalog: |-
      connector.name=iceberg
      iceberg.catalog.type=rest
      iceberg.rest.uri=https://xxxxxxx.snowflakecomputing.com/polaris/api/catalog
      iceberg.rest.auth.type=OAUTH2
      iceberg.rest.auth.oauth2.credential=${ENV:OAUTH2_CREDENTIAL}  # key:secret
      iceberg.rest.auth.oauth2.scope=PRINCIPAL_ROLE:ALL
      iceberg.catalog.warehouse=external_catalog
      iceberg.rest.case-insensitive-name-matching=true
      hive.pushdown-filter-enabled=true
      hive.parquet-batch-read-optimization-enabled=true

OAUTH2 資格情報は、Kubernetes シークレットの定義 mpp-credentials に新しい環境変数を追加することによって構成できます。このシークレットは、Denodo Lakehouse Accelerator のデプロイの資格情報を管理するために使用されます。 mpp-credentials の構成の詳細については、 Denodo Lakehouse Accelerator の「デプロイ」 のページを参照してください。

次のコマンドは、シークレット内に OAUTH2_CREDENTIAL という名前の新しい環境変数を定義する方法を示しています。

kubectl create secret generic mpp-credentials --from-literal=OAUTH2_CREDENTIAL=<credential>

シークレット内に環境変数を定義したら、次の構文を使用して、 values.yaml ファイルまたはカタログのプロパティファイル内でその環境変数を参照できます。

snowflakeopencatalog: |-
  .
  .
  iceberg.rest.auth.oauth2.credential=${ENV:OAUTH2_CREDENTIAL}
  .
  .

values.yaml を使用する代わりに、Denodo Lakehouse Accelerator の Helm チャートの presto/conf/catalog/ フォルダ内に別個のプロパティファイルを直接作成することによって、新しいカタログを定義することもできます (例: presto/conf/catalog/snowflakeopencatalog.properties)。このファイル名 (この例では snowflakeopencatalog) が、Denodo Lakehouse Accelerator でのカタログ名になります。

kubectl create secret generic mpp-credentials
--from-literal=METASTORE_DB_PASSWORD=hive
--from-literal=AWS_ACCESS_KEY_ID=awsaccesskeyid
--from-literal=AWS_SECRET_ACCESS_KEY=awssecretaccesskey

objectStorage:
  aws:
    securityCredentials:
      enabled: true