統計情報収集プロセスの動作¶

ここでは、Virtual DataPort サーバーでビューの統計情報がどのように収集されるかについて説明します。

ビューの統計情報を収集するプロセスは、基本ビューのタイプによって次のように異なります。

• JDBC 基本ビュー: データベースのシステムテーブルからビューの統計情報が収集されます。これらのテーブルから収集される情報は、ビューのデータソースで使用しているデータベースアダプターによって異なります。データベースによっては、そのテーブルやビューについて、他のデータベースよりも多くの統計情報が提供されることがあるからです。

  各データベースベンダーから収集できる統計情報の一覧については、表「 各ベンダーのシステムテーブルから収集される統計情報 」を参照してください。

  [Complete missing statistics executing SELECT queries] をチェックしていれば、SELECT クエリが追加で実行され、システムテーブルからは取得できない統計情報が取得されます。

  オブジェクトストレージのエレメントに対して作成されたビュー (「 Parquet 形式のオブジェクトストレージデータ 」) の場合、Virtual DataPort では組み込み MPP の統計情報も計算します。

  この収集プロセスは、クエリから作成した JDBC 基本ビューと、ストアドプロシージャで作成した JDBC 基本ビューには適用されません。この 2 つについては、JDBC 以外の基本ビューと同様の方法で統計情報を収集します。

• JDBC 以外の基本ビュー: 「 Sample SQL query executed to gather statistics of a non-JDBC base view 」のようなクエリが実行され、ビューの統計情報が収集されます。ODBC ソースが関与しているビューでは、このクエリの一部をそのソースにプッシュダウンできるので、収集プロセスが高速になります。

SELECT count(*),
    , avg( length( <text field> ) )
    , max( <text field> )
    , min( <text field> )
    , count( DISTINCT <text field> )
    , ...
    , max( <numeric field> )
    , min( <numeric field> )
    , count( distinct( <numeric field> ) )
    , count( <numeric field> )
    , ...
    FROM view

他のタイプのソース (区切り形式ファイル、XML など) からデータを取得する場合、Virtual DataPort 自身によってソースからすべての行が取得され、統計情報が計算されます。データベース以外のソースからすべてのデータを取得するビューでは、[Gather statistics for selected fields] チェックボックスをチェックしているかどうかは動作に影響しません。

以下の表に、データベースのシステムテーブルからどのような統計情報が収集されるかを、データベースベンダーごとに示します。

(*): PrestoDB/Trino アダプターでは、PrestoDB/Trino バージョン 183 以降で、システムテーブルからデフォルトで統計情報を取得できますが、それよりも前の旧バージョンでは取得できません。PrestoDB/Trino の旧バージョンで取得できるようにするには、以下の手順に従います。

1. 接続している PrestoDB/Trino のバージョンを取得します。

2. 管理者としてログインして、VQL シェルから以下のコマンドを実行します。

   SET 'com.denodo.vdb.contrib.storedprocedure.GenerateStatsProcedure.presto.statsversion' = '<value>';
   

   <value> には以下の値を指定します。

   • pre_177: PrestoDB/Trino のバージョンが 176 以前の場合。これらのバージョンでは、システムテーブルに統計情報が用意されていません。

   • post_177: バージョンが 177 以降で 183 より前である場合。これらのバージョンでは、システムテーブルから行数、個別の値の数、および NULL 値の数の各統計情報が得られますが、最小値と最大値は得られません。

   • post_183 (デフォルト値): バージョンが 183 以降である場合。これらのバージョンでは、上記の表にある統計情報がシステムテーブルから得られます。

3. 使用する管理ツールをインストールする際、 <DENODO_HOME>/conf/vdp-admin/VDBAdminConfiguration.properties ファイルを編集して、以下のプロパティを追加します。

   com.denodo.vdb.contrib.storedprocedure.GenerateStatsProcedure.presto.statsversion=<version>
   

   <version> を、前の手順で設定した値に置き換えます。

4. Virtual DataPort サーバーとその管理ツールを再起動します。

(**): Teradata 13 以前のバージョンでは、取得できるのは「行数」と「個別の値の数」のみです。

この表にないベンダーを使用している場合は、「 JDBC 以外の基本ビューの統計情報を収集するために実行される SQL クエリの例 」のような SELECT クエリを発行することによって統計情報を取得します。

以下の表に、上の表に記載されている統計情報を取得するために、Virtual DataPort によるクエリの実行対象となるテーブルまたは Virtual DataPort によって実行されるステートメントまたは関数を示します。これらは、統計情報を取得する場所であるデータベースによって異なります。

以下の型のフィールドの統計情報は 収集されません 。

• blob

• boolean

• xml

• array

• register.

• ソース型プロパティが以下のいずれかであるフィールド

  • BIT

  • CLOB

  • LONGVARCHAR

  • LONGNVARCHAR

これらのいくつかの型のフィールドには、他の統計情報から推定された値が設定されます。たとえば、 blob 、 array 、および register の各フィールドの場合、それぞれの値は互いに異なると想定されます。したがって、統計情報の「個別の値の数」はビューにある行の数に等しくなります。

コストベースのオプティマイザーでは、 blob 、 boolean 、 date 、 text 、 xml 、 array 、 record の各型のフィールドの最大値と最小値は使用されません。したがって、ビューの統計情報テーブルでは、それらの型で最大値と最小値に該当するフィールドのセルは無効になっていて、ラベル [N/A] が表示されています。

統計情報の収集スケジュール¶

GENERATE_STATS は、ビューの統計情報を収集して保存するストアドプロシージャです。ビューの統計情報の収集スケジュールを設定するには、Denodo Scheduler を使用します。このツールの主な目的は、システムの負荷が高くないことが予想される時間帯に統計情報を収集することにあります。

この手順の詳細については、『VQL ガイド』の「 GENERATE_STATS 」を参照してください。

統計情報収集プロセスの制限事項¶

統計情報収集プロセスには、いくつかの制限事項があります。これらの制限事項に該当する場合、その影響を受けるフィールドの統計情報を手動で指定できます。

• データベースによっては、上記のリストにない型に Virtual DataPort によってマッピングされるデータ型であっても、そのデータ型のフィールドの統計情報が取得されないことがあります。具体的には以下のとおりです。

  • IBM DB2 では、 LONGVARCHAR データ型と LONGVARGRAPHIC データ型のテーブルフィールドの統計情報が収集されません。

  • Microsoft SQL Server では、 TEXT データ型と NTEXT データ型のテーブルフィールドの統計情報が収集されません。

  • Oracle では、 CLOB 、 NCLOB 、および SQLXML の各データ型のテーブルフィールドの統計情報が収集されません。

  • Spark では、バイナリ型と文字列型の最小値と最大値の各メトリックが存在しません。

• 後続バージョンの Informix では、 INTERVAL 型のフィールドがあるテーブルから統計情報を収集することはできません。

• SQL Server の場合、 UNIQUEIDENTIFIER 型または SQLVARIANT 型のフィールドがあるテーブルの統計情報は収集できません。

• 必須フィールドがあるビューの統計情報は収集できません。