NetBeans IDE でAzure Data Lake Storage データに仮想RDB として連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ADLS は、JDBC をサポートするIDE にリアルタイムAzure Data Lake Storage データへの仮想DB 連携を実現します。JDBC 標準では、ビルトインのデータアクセスウィザードや、迅速な開発をサポートするその他のツールを使用できます。この記事では、NetBeans でAzure Data Lake Storage に接続する方法を説明します。接続を作成してロード していきます。

NetBeans にAzure Data Lake Storage のJDBC データソースを作成

JDBC データソースを作成するには、［Service］ウィンドウの［Database］ノードを展開し、［Drivers］ノードを右クリックして［New Driver］を選択します。［New Driver］ウィザードが表示されたら、以下の情報を入力します：

• Driver File(s)：［Add］をクリックして、ファイルエクスプローラダイアログが表示されたらcdata.jdbc.adls.jar ファイルを選択。ドライバーのJAR はインストールディレクトリの［lib］サブフォルダ内にあります。
• Driver Class：［Find］をクリックしてJAR 内のドライバークラスを検索し、cdata.jdbc.adls.ADLSDriver をメニューから選択。
• Name：ドライバーの名前を入力。

接続パラメータを定義

下記の手順に従って、必要な接続プロパティを定義します：

1. ［Service］ウィンドウで、［Database］ノードを右クリックし［New Connection］をクリックします。

2. ［New Connection］ウィザードで次の接続プロパティを入力します：

   • Driver Name：CData JDBC Driver for ADLS を選択。
   • User Name：ユーザーネームを入力。JDBC URL でも定義できます。
   • Password：パスワードを入力。JDBC URL でも定義できます。

   • JDBC URL：JDBC URL を指定。

     Azure Data Lake Storage 接続プロパティの取得・設定方法

     Azure Data Lake Storage Gen 2 への接続

     Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

     • Account：ストレージアカウントの名前。
     • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
     • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

     Azure Data Lake Storage Gen 2 への認証

     本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

     アクセスキー

     アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

     Azure ポータルで：

     1. ADLS Gen2 ストレージアカウントにアクセスします。
     2. 設定でアクセスキーを選択します。
     3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

     接続の準備ができたら、次のプロパティを設定します。

     • AuthScheme：AccessKey。
     • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

     共有アクセス署名（SAS）

     共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

     接続の準備ができたら、次のプロパティを設定します。

     • AuthScheme：SAS。
     • SharedAccessSignature：先に生成した共有アクセス署名の値。

     AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

     以下は一般的なJDBC URL です：
     jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

リアルタイムAzure Data Lake Storage データをクエリ

Azure Data Lake Storage に接続するには、［Database］ノードにある接続を右クリックし［Connect］をクリックします。接続が確立されたら、展開してスキーマ情報を見ることができます。

［Data Views］ウィンドウにテーブルをロードするには、テーブルを右クリックしてから［View Data］をクリックします。。