USER MANUALS

S3 パス

このタイプのパスを使用して、S3 バケットにある 1 つまたは複数のファイルからデータを取得します。

[Filters] タブについては、「 圧縮または暗号化されたデータソース 」を参照してください。フィルタはどのタイプのパス (ローカル、HTTP、FTP など) でも同様に機能します。

構成

[URI] には、データの取得元のパスを入力します。ファイルやディレクトリを参照することができ、補間変数を使用できます (「 補間変数によるパスなどの値 」のセクションを参照)。

[Custom properties] では、 core-site.xml のような Hadoop 構成ファイルに記述するのと同じプロパティを設定して、S3A Hadoop コネクターを構成できます。

ディレクトリを参照するパス

ディレクトリを参照するデータソースから基本ビューを作成すると、Virtual DataPort では、そのディレクトリの先頭にあるファイルから新しいビューのスキーマを推測し、他のすべてのファイルはそれと同じスキーマを持つものと仮定します。

区切り形式ファイルのデータソースの場合のみ: ディレクトリを参照する URI を指定している場合、[URI Pattern] と [File name pattern] に値を入力すると、それぞれのボックスに入力された正規表現と一致するフルパス (ディレクトリとファイル名を含む) のファイルのみがデータソースで処理されます。

たとえば、拡張子が log のファイルのみを処理する場合は、[File name pattern*] ボックスに「 ``.*.log`` 」と入力します。また、 ``logs_directory`` という名前のフォルダに配置されているログをフィルタリングする場合は、[**URI Pattern] ボックスに「 .*/logs_directory 」と入力します。

[URI Pattern] はディレクトリのフルパスをフィルタリングします。ファイル名は含めず、代わりに [File name pattern] を使用してください。

注釈

XML データソースでは、[Validation file] を指定した場合は、ディレクトリにあるすべてのファイルが、指定したファイルの スキーマ または DTD に一致している必要があります。

認証

資格情報を構成するには、以下の 2 つの方法があります。

  • AWS IAM credentials: [AWS access key ID] と [AWS secret access key] を指定します。必要に応じて、[AWS IAM role ARN] を入力できます。AWS ユーザーはロールを引き受けて、バケットに接続するために必要な権限を取得します。ロールの ARN は、引き受ける IAM ロールの Amazon リソース名です。arn:aws:iam::<awsAccountId>:role/<roleName> などのロールの ARN を指定します。

  • Denodo AWS instance credentials: この Virtual DataPort サーバーが動作している AWS インスタンスからデータベースの資格情報を自動的に取得します。オプションで [AWS IAM role ARN] を指定して、データベースに接続するために必要な権限を取得することもできます。

Add feedback