DBeaver からAzure Data Lake Storage データに連携して可視化する方法とは？

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ADLS は、IDE からBI ツールまで、サードパーティーツールからAzure Data Lake Storage データの読み書きを可能にするJDBC 標準を提供します。本記事では、DBeaver のウィザードを使ってAzure Data Lake Storage データに接続し、GUI 上でデータを参照する方法を紹介します。

CData JDBC ドライバとは？

CData JDBC ドライバは、以下の特徴を持ったリアルタイムデータ接続ツールです。

1. Azure Data Lake Storage をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
2. DBeaver を含む多様なアプリケーション、ツールにAzure Data Lake Storage データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData JDBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.DBeaver 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData JDBC ドライバのインストールとAzure Data Lake Storage への接続設定

まずは、本記事右側のサイドバーからADLS JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

次に、以下の手順でDBeaver にドライバーのJAR ファイルをロードします。

1. DBeaver アプリケーションを開き、「データベース」メニューの「ドライバーマネジャー」オプションを選択します。「新規」をクリックして「新しいドライバを作成する」フォームを開きます。
2. 設定タブで：
   • ドライバ名をわかりやすい名前に設定します（例：CData JDBC Driver for Azure Data Lake Storage）。
   • クラス名をJDBC ドライバーのクラス名「cdata.jdbc.adls.ADLSDriver」に設定します。
   • URL テンプレートをjdbc:adls: に設定します。
3. ライブラリタブで「ファイルを追加」をクリックし、インストールディレクトリ（C:\Program Files\CData\CData JDBC Driver for Azure Data Lake Storage XXXX\）の「lib」フォルダに移動してJAR ファイル（cdata.jdbc.ADLS.jar）を選択します。

Azure Data Lake Storage データの接続を作成

以下の手順で、認証情報およびその他の必要な接続プロパティを追加します。

1. 「データベース」メニューで、「新しい接続」をクリックします。
2. 表示される「新しい接続を作成する」 ウィザードで、先ほど作成したドライバー（例：CData JDBC Driver for Azure Data Lake Storage）を選択し、「次へ >」をクリックします。
3. 設定ウィザードの一般タブで、以下を参考に必要な接続プロパティを使用してJDBC URL を設定します。

   Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen 2 への接続

   Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前。
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

   Azure Data Lake Storage Gen 2 への認証

   本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

   アクセスキー

   アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルで：

   1. ADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定でアクセスキーを選択します。
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：AccessKey。
   • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：SAS。
   • SharedAccessSignature：先に生成した共有アクセス署名の値。

   AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

   組み込みの接続文字列デザイナー

   JDBC URL の作成の補助として、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

   java -jar cdata.jdbc.adls.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   一般的な接続文字列：

   jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH
4. 「テスト接続」をクリックして、接続が正しく設定されていることを確認します。
5. 「終了」をクリックします。

Azure Data Lake Storage データにクエリを実行

これで、接続できたことで公開されたテーブルのデータにクエリを実行できるようになりました。テーブルを右クリックし、「ビュー表」をクリックします。「データ」タブでデータを確認できます。

おわりに