Azure Data Lake Storage データをDataSpider Servista の連携先として使う方法

こんにちは！リードエンジニアの杉本です。

DataSpider Servista は、異なるシステムのデータやアプリケーションをノンプログラミングで「つなぐ」データインテグレーションプラットフォームです。

CData JDBC ドライバはDataSpider Servista において、JDBC データソースとして利用することが可能です。通常のJDBC の検索・更新などのアイコンを使って、標準SQL でSaaS/Web DB のデータを扱うことを可能にします。 この記事では、DataSpider で CData JDBC Driverを利用してAzure Data Lake Storage データに外部データとしてSQL でアクセスする方法を紹介します。

CData JDBC Driver for ADLS をDataSpider にコネクタとして登録

1. JDBC Driver をDataSpider と同じサーバーにインストール
2. DataSpider の外部JDBCドライバのパスにCData JDBC ドライバのcdata.jdbc.adls.jar とcdata.jdbc.adls.lic を配置
   DataSpider 側：DataSpiderServista\server\plugin\data_processing\modules\jdbc_adapter
   
3. グローバルリソースのプロパティで、ドライバクラス名およびURL を入力。
   
   • 接続名：任意
   • 種別：デフォルト
   • 接続タイプ：接続タイプ：JDBC（JDBC接続設定）
   • ドライバクラス名：cdata.jdbc.adls.ADLSDriver
   • URL：jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH

4. Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen 2 への接続

   Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前。
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

   Azure Data Lake Storage Gen 2 への認証

   本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

   アクセスキー

   アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルで：

   1. ADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定でアクセスキーを選択します。
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：AccessKey。
   • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：SAS。
   • SharedAccessSignature：先に生成した共有アクセス署名の値。

   AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

DataSpider でAzure Data Lake Storage データを連携利用する

あとは通常のRDB コンポーネントのように、Azure Data Lake Storage データを扱うことが可能です。ツールパレットのJDBC からSQL 実行やストアドプロシージャ実行コンポーネントが使用できます。

例えばAzure Data Lake Storage データの取得であれば、検索系SQL実行処理を使って、SELECT 文でAzure Data Lake Storage データを抽出することができます。

このようにCData JDBC ドライバを使って、簡単にDataSpider でAzure Data Lake Storage データ データをノーコードで連携利用することができます。

CData JDBC Driver for ADLS 30日の無償評価版 をダウンロードして、お試しください。