CSV、JSON、XML ファイル形式¶

オブジェクトストレージの CSV (またはその他の区切りファイル)、JSON、XML ファイルにアクセスするには、「 区切り形式ファイルソース 」、「 JSON ソース 」、「 XML ソース 」の各セクションの指示に従います。認証を構成するには、正しいデータルート HDFS 、 S3 、または Azure ADLS を選択する必要があります。Google Cloud Storage のような別のオブジェクトストレージにアクセスするには、「 Hadoop 互換ストレージのサポート 」のセクションを参照してください。

Apache Parquet ファイル形式¶

Apache Parquet はオープンソースの列指向データファイル形式であり、データの効率的な保存と検索を目的としています。

Virtual DataPort では、組み込み MPP を使用した、 Parquet 形式のデータへのアクセス をサポートしています。

また、Hive、Impala、Presto、Spark、Databricks、または Denodo 組み込み MPP などの Hadoop 互換ストレージを使用して、データベースに一括挿入するデータを Parquet 形式で生成します。このトピックの詳細については、「 HDFS、S3、または ADLS などの分散オブジェクトストレージへのデータ一括読み込み 」のセクションを参照してください。

Delta Lake テーブル形式¶

Delta Lake はオープンソースのテーブル形式であり、 Databricks のデフォルト形式です。ACID トランザクションと拡張性の高いメタデータ処理のために、ファイルベースのトランザクションログで Parquet データファイルを拡張します。Denodo では、組み込み MPP を使用した、 Delta 形式のデータにアクセスするための基本ビューの作成 をサポートしています。また、 Delta 形式 を使用した、Databricks でのリモートテーブルの作成やデータの読み込みもサポートしています。

Iceberg テーブル形式¶

Apache Iceberg は、大規模な分析データセットの高性能テーブル形式です。Iceberg テーブルは ACID トランザクション、スキーマの完全な進化、パーティションの進化、さらに テーブルバージョンのロールバック をサポートしており、テーブルの書き換えや移行は必要ありません。

以下の表では、Iceberg テーブルを使用する、Denodo で現在サポートされている機能について説明しています。詳細については、「 Iceberg テーブル 」のセクションを参照してください。

Iceberg 形式でサマリビューを作成するには、 リモートテーブルの作成 と同じ手順に従います。