Azure Data Lake Storage データをASTERIA Warp に繋いでみた

こんにちは！テクニカルディレクターの桑島です。

CData JDBC Driver for ADLS は、JDBC 標準をインプリメントし、BI ツールからIDE まで幅広いアプリケーションでAzure Data Lake Storage への接続を提供します。この記事では、ASTERIA Warp からAzure Data Lake Storage に接続する方法を説明します。

Azure Data Lake Storage データのJDBC データソースを作成

下記の手順に従って、ASTERIA Warp からAzure Data Lake Storage に接続して、RDB コネクションを作成します。

1. ASTERIA WARP のasteriahome5\system\lib\drivers ディレクトリにCData JDBC ドライバインストールディレクトリの［lib］サブフォルダ内のcdata.jdbc.adls.jar ファイルをコピーして配置します。
2. 左のコネクションペインで［コネクションの作成］をクリックし、［接続種別］で［RDB］を選択します。
3. コネクションの名前を入力して、OKを押します。

右のプロパティペインで接続設定を行います。

1. データベースタイプ：Other
2. ドライバー：cdata.jdbc.adls.ADLSDriver
3. URL: jdbc:adls: に続けてセミコロン区切りで接続プロパティを入力します。
   一般的なJDBC URL は次の通りです: jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

JDBC Driver の接続文字列デザイナーを使う

JDBC 接続文字列を作るには、Azure Data Lake Storage JDBC Driver のビルトイン接続文字列デザイナーを使う方法があります。ドライバーの.jar ファイルをダブルクリックするか、コマンドラインから.jar ファイルを実行します。

Windows:

MacOS:

接続プロパティに値を入力して、生成される接続文字列をクリップボードにコピーします。

左のコネクションペインで右クリックで保存して、［テスト接続］を実施します。これでAzure Data Lake Storage データ への接続が確立され、ASTERIA WARP 上でRDB としてAzure Data Lake Storage データ が利用できるようになりました。

ASTERIA Warp 4 以前のバージョンでは、JDBC Forward Only ドライバーの設定が必要です。この設定を行わないと、クエリ実行時に（This driver only supports TYPE_FORWARD_ONLY cursors）が発生します。

1. ［フローサービス管理コンソール］＞［サービス］タブ＞［フローエンジン］＞［編集］ボタン＞［JDBC Forward Only ドライバー］欄に以下を追加します。
   cdata.jdbc.adls.ADLSDriver
2. 保存して設定完了です。

ADLSのデータを抽出（SELECT）するフローを作成します。

1. フローを作成し、RDB Get をドラグ＆ドロップします。
2. プロパティ［コネクション名］で設定したコネクションを選択します。
3. RDB Get アイコンをダブルクリックして、［SQL ビルダー］を開きます。
4. Azure Data Lake Storage の表示されているテーブルから抽出するカラム・テーブルを指定するSQL を書きます。
5. ［SELECT テスト］をクリックし、テーブル内容が表示されたら、SQL ビルダーを閉じます。
6. フローを実行します。

このようにADLS 内のデータをAPI を書くことなくASTERIA 上で処理することができるようになります。

サポートされるSQL についての詳細は、ヘルプドキュメントの「サポートされるSQL」をご覧ください。テーブルに関する情報は「データモデル」をご覧ください。