USER MANUALS

Azure Data Lake Gen 2

Azure Kubernetes Service に Denodo 組み込み MPP をデプロイする前に、 Denodo 組み込み MPP Azure チェックリスト で必要な準備がすべて完了していることを確認します。

Data Lake Storage gen2 データセットにアクセスする Denodo 組み込み MPP をデプロイするには、以下に示す 3 つのオプションがあります。

  1. cluster.sh deploy コマンドで資格情報を指定しません (推奨 オプション)。

    cluster.sh deploy --credstore-password xxx

    Denodo 組み込み MPP が Azure Kubernetes Service で実行される場合に使用され、 Azure マネージド ID を使用して Data Lake Storage gen2 にアクセスします。

    それには、組み込み MPP をデプロイする前に、以下のプロパティを presto/conf/catalog/core-site.xml と hive-metastore/conf/core-site.xml に追加する必要があります。

    Azure マネージド ID を使用する core-site.xml
    <property>
  <name>fs.azure.account.auth.type</name>
  <value>OAuth</value>
</property>

<property>
  <name>fs.azure.account.oauth.provider.type</name>
  <value>org.apache.hadoop.fs.azurebfs.oauth2.MsiTokenProvider</value>
</property>

<property>
  <name>fs.azure.account.oauth2.msi.tenant</name>
  <value>MSI Tenant ID</value>
</property>

<property>
  <name>fs.azure.account.oauth2.msi.endpoint</name>
  <value>http://169.254.169.254/metadata/identity/oauth2/token</value>
</property>

<property>
  <name>fs.azure.account.oauth2.client.id</name>
  <value>Client ID</value>
</property>

  1. cluster.sh deploy コマンドで資格情報を指定しません。

    cluster.sh deploy --credstore-password xxx

    ただし、組み込み MPP をデプロイする前に、 core-site.xml ファイルである``presto/conf/catalog/core-site.xml`` と hive-metastore/conf/core-site.xml に OAuth2 クライアント資格情報 を指定する必要があります。

    OAuth2 クライアント資格情報を使用する core-site.xml
    <property>
  <name>fs.azure.account.auth.type</name>
  <value>OAuth</value>
</property>

<property>
  <name>fs.azure.account.oauth.provider.type</name>
  <value>org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider</value>
</property>

<property>
  <name>fs.azure.account.oauth2.client.endpoint</name>
  <value>https://login.microsoftonline.com/<directory_id>/oauth2/token</value>
</property>

<property>
  <name>fs.azure.account.oauth2.client.id</name>
  <value>Client ID</value>
</property>

<property>
  <name>fs.azure.account.oauth2.client.secret</name>
  <value>Secret</value>
</property>

  2. 共有キー認証 方法で使用する Azure 資格情報を cluster.sh deploy コマンドで指定します。

    cluster.sh deploy --abfs-storage-account xxx --abfs-storage-key yyy --credstore-password zzz

    • --abfs-storage-account: ストレージアカウントの名前。

    • --abfs-storage-key: ストレージアカウントへのアクセスを保護するアクセスキー。コマンドラインでこのアクセスキーが指定されない場合、 cluster.sh deploy がアクセスキーの入力を要求し、bash の履歴にアクセスキーが残らないようにします。

Add feedback