Azure Data Lake Storage データをRACCOON から連携して利用

こんにちは！テクニカルディレクターの桑島です。

CData JDBC Driver for ADLS は、JDBC 標準をインプリメントし、BI ツールからIDE まで幅広いアプリケーションでAzure Data Lake Storage への接続を提供します。この記事では、RACCOON からAzure Data Lake Storage に接続し、CSV 出力する方法を説明します。

プロジェクトの作成

下記の手順に従って、RACCOON のプロジェクト・フォーマット変換定義を作成し、Azure Data Lake Storage のJDBC 抽出処理を作成します。

まずは、本記事右側のサイドバーからADLS JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

ここから、必要なファイルの配置とプロジェクトの作成を行います。

1. RACCOON のDeveloperStudio64\Engine\lib および TransferEngine\lib ディレクトリにCData JDBC ドライバインストールディレクトリの［lib］サブフォルダ内のcdata.jdbc.adls.jar ファイルをコピーして配置します。
2. メニューバーから［新規作成］→［プロジェクト］をクリックします
3. 任意の［プロジェクト名称］を入力の上［作成］を、プロジェクト作成します。

フォーマット変換定義、および Azure Data Lake Storage データのJDBC 抽出処理を作成

次にフォーマット変換定義を作成し、抽出処理を構成します。

1. 左ナビゲーターペインから、作成したフォルダを右クリックし、［新規作成］→［フォーマット変換定義］をクリックします。
2. 任意の［フォーマット変換定義名称］を入力し、［作成］をクリックします。
3. パレットの［抽出処理］一覧から［汎用JDBC］を選択し、変換定義エディターへ配置します。
4. 配置した［汎用JDBC］のメッセージ設定を表示し、ドライバーとURLを設定します。
   ドライバ：cdata.jdbc.adls.ADLSDriver
   URL: jdbc:adls: に続けてセミコロン区切りで接続プロパティを入力します。
   一般的なJDBC URL は次の通りです: jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;
   入力後、［適用］をクリックします。
5. ［メッセージ構造エリア］から先程作成した抽出処理を右クリックし、［配下に挿入］→［テーブル］をクリックします。
6. ［フォーマット名称］では、取得対象のテーブル名を入力し、［出現回数］の最大チェックボックスのチェックを解除します。設定後、適用をクリックします。
7. 続けて、対象のカラムを指定する画面が表示されるため、対象テーブルから出力したいカラムを［フォーマット名称］に入力し、【適用］をクリックします。この操作を取得したい任意のカラム分繰り返し行います。
8. 取得対象カラム設定後、テーブルのプロパティを表示し、SELECT タブから［発行テスト］をクリックすることで、適切に［汎用JDBC］ドライバが接続されているかどうかを確認できます。
9. 以下のようにコンソールログへ［SQLクエリの発行に成功しました。］と表示されれば、接続完了です。

格納処理の作成

最後に抽出したデータの変換先として指定区切り子（CSV）の格納処理構成を行います。

1. パレットの［格納処理］一覧から［指定区切り子］を選択し、変換定義エディターへ配置します。
2. ［指定区切り子］のメッセージ設定を表示し、任意の出力ファイルパスを入力後、［適用］をクリックします。
3. ［メッセージ構造エリア］から先程作成した格納処理を右クリックし、［配下に挿入］→［レコード］をクリックします。
4. ［フォーマット名称］に任意の名称を入力し、［出現回数］の最大チェックボックスのチェックを解除します。設定後、適用をクリックします。
5. 続けて、対象のカラムを指定する画面が表示されるため、任意のカラム名を［フォーマット名称］に入力し、［適用］をクリックします。この操作を取得した任意のカラム分繰り返し行います。
6. 変換定義エディターへ戻り、［汎用JDBC接続］と［指定区切り子］を下記のように接続し、左上コマンドのマッピングをクリックします。
7. 項目のマッピング表が表示されますので、下記のように任意のフィールドへそれぞれマッピングを行います。
8. 以上で設定は完了です。［メニューバー］から［実行］をクリックし、動作確認を行います。
9. ［変換実行］をクリックします。
10. 以下のように変換実行結果が正常に終了し、指定の場所にCSVファイルが作成されていれば、処理成功です。

このようにADLS 内のデータをプログラムやWeb APIの処理を記述することなくRACCOON 上で処理することができるようになります。

サポートされるSQL についての詳細は、ヘルプドキュメントの「サポートされるSQL」をご覧ください。テーブルに関する情報は「データモデル」をご覧ください。