DbVisualizer でAzure Data Lake Storage データに連携しクエリを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ADLS は、JDBC 標準に準拠し、BI ツールからIDE まで幅広いアプリケーションでAzure Data Lake Storage データへの接続を提供します。この記事では、DbVisualizer からAzure Data Lake Storage データに接続する方法、およびtable エディタを使ってAzure Data Lake Storage をロード、する方法を説明します。

CData JDBC ドライバとは？

CData JDBC ドライバは、以下の特徴を持ったリアルタイムデータ接続ツールです。

1. Azure Data Lake Storage をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
2. DBeaver を含む多様なアプリケーション、ツールにAzure Data Lake Storage データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData JDBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.DBeaver 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

Azure Data Lake Storage データの新しいドライバー定義を作成

下記の手順に従い、Driver Manager を使ってDbVisualizer ツールからAzure Data Lake Storage データに接続します。

1. DbVisualizer で「Tools」->「Driver Manager」をクリックします。
2. 「」ボタンをクリックして新しくドライバーを作成します。
3. テンプレートは「Custom」を選択します。
4. Driver Settings タブで：
   • Name をわかりやすい名前に設定します（例：CData Azure Data Lake Storage Driver）。
   • URL Format をjdbc:adls: に設定します。
   • Driver artifacts and jar files (jars are loaded in order from top) セクションで：
     1. 「」ボタンをクリックして、「Add Files」に進みます。
     2. インストールディレクトリ（C:\Program Files\CData\CData JDBC Driver for Azure Data Lake Storage XXXX\）の「lib」フォルダに移動します。
     3. JAR ファイル（cdata.jdbc.ADLS.jar）を選択して「Open」をクリックします。
5. Driver Class は自動的に入力されます。もし入力されない場合は、クラス（cdata.jdbc.adls.ADLSDriver）を選択してください。

JDBC データソースへの接続を定義

「Driver Manager」を終了し、下記の手順に従ってJDBC URL に接続プロパティを入力します。

1. 「Databases」タブで「」ボタンをクリックし、先ほど作成したドライバーを選択します。

2. 「Connection」セクションで以下のオプションを設定します。

   • Database Type：ウィザードオプションを選択した場合は、データベースの種類は自動検出されます。「No Wizard」オプションを選択した場合は、「Database Type」メニューから「Generic」または「Auto Detect」オプションを選択します。
   • Driver Type：先ほど作成したドライバーを選択します。

   • Database URL：完全なJDBC URL を入力します。JDBC URL 構文は、jdbc:adls: に続けてセミコロン区切りでname-value ペアの接続プロパティを入力します。

     Azure Data Lake Storage 接続プロパティの取得・設定方法

     Azure Data Lake Storage Gen 2 への接続

     Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

     • Account：ストレージアカウントの名前。
     • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
     • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

     Azure Data Lake Storage Gen 2 への認証

     本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

     アクセスキー

     アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

     Azure ポータルで：

     1. ADLS Gen2 ストレージアカウントにアクセスします。
     2. 設定でアクセスキーを選択します。
     3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

     接続の準備ができたら、次のプロパティを設定します。

     • AuthScheme：AccessKey。
     • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

     共有アクセス署名（SAS）

     共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

     接続の準備ができたら、次のプロパティを設定します。

     • AuthScheme：SAS。
     • SharedAccessSignature：先に生成した共有アクセス署名の値。

     AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

     組み込みの接続文字列デザイナー

     JDBC URL の作成の補助として、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

     java -jar cdata.jdbc.adls.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     JDBC URL を構成する際に、Max Rows 接続プロパティを設定することもできます。この設定は返される行数を制限するため、レポートやビジュアライゼーションを作成する際のパフォーマンスが向上します。

     一般的な接続文字列は次のとおりです。

     jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH
   • NOTE：Azure Data Lake Storage は認証にUser やPassword を必要としないため、Database Userid とDatabase Password には任意の値を使用できます。
3. 「Connection」タブで「Connect」をクリックします。

Azure Data Lake Storage JDBC Driver が表示するテーブルをブラウズするには、テーブルを右クリックして「Open In New Tab」をクリックします。

SQL クエリの実行には、SQL Commander ツールを使用します。「SQL Commander」->「New SQL Commander」をクリックします。利用可能なメニューから「Database Connection」、「Database」、「Schema」を選択します。

サポートされるSQL についての詳細は、ヘルプドキュメントの「サポートされるSQL」をご覧ください。テーブルに関する情報は「データモデル」をご覧ください。

おわりに