Denodo 8.0u20230914 の新機能¶
ここでは、Denodo Platform と Solution Manager の更新プログラム 8.0u20230914 の主な拡張機能を紹介します。
この更新プログラムに含まれる拡張機能を解説した動画も公開しています。
拡張機能とバグ修正の完全なリストについては、 サポートサイト にある更新プログラムのリリースノートを参照してください。
Virtual DataPort
新機能 [Import Model] 。この機能は、ER/Studio Data Architect、ERwin Data Modeler などのアプリケーションで作成されたデータモデルを読み込み、Virtual DataPort で等価なインターフェイスビューとアソシエーションを作成します。
これを使用するには、Design Studio にログインして [Tools] メニュー > [Import model] をクリックします。
この機能は、すでに モデルブリッジ と呼ばれるデスクトップアプリケーションで提供されており、サポートサイトからダウンロードできます。この機能は、この更新プログラムで Design Studio に統合されました。
FinOps の新機能が追加され、管理者はクラウドプロバイダー間のデータフローを監視できるようになりました。
データソースの構成で、データソースがオンプレミスシステムまたはクラウドのどちらに接続するかを選択できます。クラウドに接続する場合、ベンダーとリージョン (AWS の us-east1 など) を選択できます。これは、JDBC、区切りファイル、JSON、XML、およびカスタムの各データソースに適用されます。
JDBC ドライバーを使用して Denodo に接続するアプリケーションは、使用するクラウドプロバイダーとリージョンをコネクションのプロパティとして指定できます。
この情報はすべてログに記録されるので、管理者はログを使用して組織のクラウドデータの使用方法や使用するリージョンに関する洞察を取得し、価格を見積もることができます。
「 Virtual DataPort モニター 」の「Virtual DataPort Query Data Sources Monitor」を参照してください。これらの拡張機能について解説した 動画 も公開しています。
Resource Manager:
複数回の連続した測定中 に CPU 消費量が一定の割合に達した場合にのみ適用されるプランの制限を構成できるようになりました。
新しい制限の提供:
1 ユーザあたりの最大同時クエリ数を設定する
一定量 (メガバイト単位) を超えるメモリを使用するクエリを停止
制限を定義する際、[Add variables to the query context] を選択すると、結果値を「テキスト」で返す SQL 関数を使用できるようになりました。以前は、リテラルしか使用できませんでした。
「 Resource Manager - ルールの定義 」を参照してください。
8.0u20230301 では、VQL プロシージャ と呼ばれる機能が追加され、手続き型言語を使用してストアドプロシージャを作成できるようになりました。この言語に新しいコマンド``EXECUTE <DDL command:literal>`` が追加され、「CREATE VIEW」、「DROP VIEW」などの DDL ステートメントを実行できるようになりました (「 VQL プロシージャ 」を参照)。
Virtual DataPort - データソース
新しい JDBC アダプター:
Alibaba AnalyticDB for MySQL
Alibaba AnalyticDB for PostgreSQL
Alibaba ApsaraDB for PolarDB for MySQL
Alibaba ApsaraDB for PolarDB PostgreSQL
Alibaba ApsaraDB RDS for MySQL
Alibaba ApsaraDB RDS for PostgreSQL
Alibaba ApsaraDB RDS for MySQL
Teradata 17 (およびキャッシュエンジン用)
Denodo 組み込み MPP の機能:
MPP データベースに保存されているエレメントから基本ビューを作成する場合、データソースが基本ビューのスキーマ (つまりそのフィールド) を生成するために処理するファイルの数を構成できるようになりました。この機能は、 スキーマクリープ への対応を容易にします。
MPP データベースに保存されているオブジェクトを参照する JDBC 基本ビューの ソース更新 を実行できるようになりました。
以下の JDBC アダプターが複合値を読み込めるようになりました。
Athena
Google BigQuery
Impala
Presto および Denodo 組み込み MPP において Iceberg テーブルのイントロスペクションがサポートされるようになりました。
Virtual DataPort で作成されたユーザーアカウントを返す新しいストアドプロシージャ GET_USER_ACCOUNTS が追加されました。
Virtual DataPort - 実行エンジン
データ移動が設定されている非常に複雑なビューの処理で消費するメモリ量が削減されました。
クエリの最適化の最初のフェーズでクエリで使用しないフィールドを実行プランのノードから削除することにより、クエリオプティマイザーが使用するメモリ量を削減します。
Virtual DataPort - Design Studio
Design Studio のさまざまな設定がユーザーのブラウザーに保存されるようになり、よりユーザーフレンドリになりました。以下に例を示します。
VQL Shell の内容 (実行ログ を含む)。ユーザーは次にログインしたときに、自分のクエリを参照できます。
Design Studio のエレメントの VQL パネル。ユーザーが最後にこのパネルを開いたときに選択したオプションがユーザーのブラウザーに保存されます。
[File] メニューの [Import]、[Export]、および [Export Database] の各ダイアログ。最後に選択したオプションが保存されます。
...
この機能は、各ユーザーのブラウザーの ローカルストレージ を使用して、ユーザー固有の情報を保存します。Design Studio の管理者は、 Design Studio の設定 で、すべてのユーザーのこの機能を無効にできます。
VQL Shell および [Execution panel] の [Execute and download] 機能:
この操作は、効率が大幅に向上し、使用する際にメモリの問題が発生するのを回避します。
デフォルトでは、この機能が返すのは 500,000 行のみです。Design Studio の管理者は、 Design Studio の設定 で、この制限を削除または変更できます。
[Server Explorer] でビューの列が表示されるようになりました。
Virtual DataPort - JDBC ドライバー
バッチで INSERT、UPDATE、または DELETE の各ステートメントを実行する場合にバッチで使用する値をサーバーに送信する処理の効率が向上し、それらのステートメントの実行速度が大幅に向上しました。つまり、 java.sql.PreparedStatement#addBatch() を使用するアプリケーションの実行速度が大幅に向上しました。
これを利用するには、この更新プログラムをサーバーにインストールし、さらにこの更新プログラムの JDBC ドライバーを使用する必要があります。
Virtual DataPort の ODBC インターフェイスに接続するアプリケーションも、同様のメリットを得られます。
Virtual DataPort - ODBC ドライバー
Virtual DataPort - オペレーションとセキュリティ
Denodo Monitor が「vdpquerydatasources」という名前のファイルを生成し、クエリの実行中に実行エンジンがアクセスするデータソースに関する詳細 (データソース名、各データソースで実行されるクエリ、クエリが返す行数など) を保存するようになりました。
この機能を利用するには、以下を実行します。
Solution Manager では何もする必要はありません。
Denodo Platform のインストール環境では、新しい
<DENODO_HOME>/tools/monitor/denodo-monitor.zip
を解凍し、「 Denodo Monitor の構成 」の手順に従う必要があります。
Data Catalog
Assisted Queries: この機能を使用すると、必要なデータを取得するためのクエリを自然言語 (「tell me the top-10 customer by country」など) で入力でき、SQL の知識も複雑な SQL クエリの入力も必要ありません。この機能は、人工知能/大規模言語モデル (LLM) を使用して、ビューのメタデータとユーザーのクエリに基づいて、ユーザーが必要とするデータを返す SQL クエリを生成します。
これを使用するには、ビューを開いて、新しい [Assisted Queries] タブをクリックします。
この機能の詳細については、「 [Assisted Queries] 」を参照してください。
ワークフローの新機能: ユーザーは、変更を要求する ケース を開始できるようになりました。これにより、管理者およびデータスチュワードは、ユーザーの要求に従ってエレメントを変更するか、新しいエレメントを提供することができます。
この拡張機能の主な目標は、アクセス要求 、 データ品質の問題 、 メタデータの変更 、および一般的な 質問 を要求することです。
詳細については、「 ワークフローリクエスト 」を参照してください。この機能について解説した 動画 も公開しています。
ワイルドカード、あいまい検索 (結果に検索する単語に似た結果が含まれる) など、より高度な検索条件を使用してメタデータ (ビューの名前、列、説明など) を検索できるようになりました。
これを使用するには、まず Data Catalog の管理者が メタデータ検索を有効にする 必要があります。
Scheduler
管理者は、Scheduler ジョブによって送信される電子メールを生成するためのテンプレートを HTML で構成できるようになりました。この機能を有効にする方法については、 このページ を参照してください。
新しいユーザー権限 Read が追加されました。この権限を持つユーザーは、ジョブを表示できますが、実行することはできません。ジョブを実行するには、 Execute 権限が必要です。Execute 権限を持つユーザーは、ジョブを表示し、さらに実行することもできます。「 Scheduler の権限 」を参照してください。
Solution Manager
自動モードでクラスタを作成する際、Virtual DataPort ノードが完全に作成されるのを待たないことにより、速度が向上しました。
さまざまなモジュールに適用される拡張機能
この更新プログラム以降、Denodo Platform と Solution Manager のすべてのモジュールは、パスワードポリシーを適用します。つまり、新しいパスワードは、8 文字以上で大文字と小文字などを使用する必要があります。
詳細については、「 Denodo Platform と Solution Manager のパスワードポリシー 」を参照してください。
注釈
最近この更新プログラムをインストールした管理者の方へ: 既存のユーザーアカウントでは、すべてこれまでどおりに動作します。このポリシーは、新しいアカウントまたはパスワードを変更しようとするユーザーにのみ影響を及ぼします。
この拡張機能について解説した 動画 も公開しています。
Data Catalog と Design Studio に、ロードバランサーがユーザーのブラウザーと Data Catalog または Design Studio の間のコネクションを閉じないようにするメカニズムが追加されました。この機能は、デフォルトで無効になっています。
これを有効にする方法については、「 ロードバランサーが Data Catalog と Design Studio のコネクションを閉じないようにする 」を参照してください。
Data Catalog、Design Studio、および Scheduler で、表示する通知などの領域および aria-label におけるアクセシビリティが向上しました。
ドキュメントのリリースノート
更新プログラムの zip ファイルに RELEASE NOTES は含まれなくなりました。代わりに、 サポートサイト にある更新プログラムの説明の RELEASE NOTES を参照してください。
非推奨機能に関する情報
この更新プログラムのリリースにともなって、以下の機能が廃止されました。
QUERY WRAPPER は、基本ビューを作成しないで ITPilot ラッパーをクエリできるコマンドですが、廃止されました。このコマンドを使用して、 ITPilot ラッパーまたは他の任意のタイプのラッパーをクエリしないでください。
2025年01月22日 の時点では、次のメジャーバージョン (Denodo 9) で、以下の機能は使用できなくなる予定です。
ITPilot
Denodo4Eclipse プラグイン
これは網羅的なリストではありません。廃止されて最終的に Denodo 9 で使用できなくなる機能は増える可能性があります。
これらの機能は、Denodo 8.0 のリリースで廃止されました。
非推奨のすべての機能のリストは、「 Denodo Platform 8.0 で非推奨となった機能 」を参照してください。