Azure Data Lake Storage (ADLS) データソース¶
Azure Data Lake Storage (ADLS) データソースは、Azure Data Lake にアクセスするために使用できます。一部のエクスポーターからクラウドにドキュメントをエクスポートするには、このタイプのデータソースを作成する必要があります。
Azure Data Lake Storage (ADLS) データソースを作成する場合は、以下のパラメータを指定する必要があります。
Account Name: データを保存できる Azure ストレージアカウント。
Container: ADLS コンテナー名。
Authentication: ADLS 資格情報を構成するには、以下の 3 つの方法があります。
Shared Key: アカウント名とパスワードに基づく最も簡単な認証メカニズムです。パスワード (Shared key) を入力してください。
OAuth 2.0 client credentials: [Token endpoint]、[Client identifier]、[Client secret] を指定します。Scheduler はエンドポイントを使用して、入力したクライアント資格情報で OAuth 2.0 トークンを取得します。
Azure managed identity: この Scheduler サーバー が動作している Azure Virtual Machine から、Azure Data Lake Storage の資格情報を自動的に取得します。OAuth 2.0 トークンは、実行している仮想マシンからのみアクセス可能な特定のエンドポイントによって発行されます (http://169.254.169.254/metadata/identity/oauth2/token)。オプションで、[Client identifier]、[Tenant identifier]、[Token endpoint] を指定することもできます。この認証方法を使用するには、Azure Data Lake Storage コンテナーにアクセスできるように構成されたマネージド ID を持つ Azure Virtual Machine で Scheduler サーバーが動作している必要があります。この詳細については、 Azure ドキュメント を参照してください。
Custom properties:
core-site.xml
のような Hadoop 構成ファイルに記述するのと同じプロパティを設定して、 ABFS Hadoop コネクター を構成します。