KNIME でAzure Data Lake Storage データに接続、データを取得する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

本記事では、KNIME からAzure Data Lake Storage データにアクセスし、レポートデザイナを使用してAzure Data Lake Storage からチャートを作成する方法を解説します。

CData JDBC ドライバの特徴

CData ODBC ドライバは、以下の特徴を持つリアルタイムデータ接続ソリューションです。

1. Azure Data Lake Storage をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
2. 多様なアプリケーション、ツールにAzure Data Lake Storage データをJDBC 経由で連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData JDBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.KNIME 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData JDBC ドライバのインストールとAzure Data Lake Storage への接続設定

まずは、本記事右側のサイドバーからADLS JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Azure Data Lake Storage データへの新しいJDBC 接続を設定

1. File -> Preferences -> KNIME -> Databases と進めていきます。
2. Add File をクリックし、cdata.jdbc.adls.jar を追加します。ドライバーJAR ファイルは、インストールディレクトリのlib サブフォルダにあります。
3. Find driver classes をクリックします。
4. 接続のID とName を設定します（これらの項目に制限はないため、任意の値を設定してください）。
5. URL template を設定します。一般的なJDBC URL は次のとおりです。 jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH

JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルをダブルクリックするか、またはコマンドラインからjar ファイルを実行します。

java -jar cdata.jdbc.adls.jar

接続プロパティについて、詳しくはドキュメントを参照してください。

6. OK をクリックして設定セクションを閉じます。
7. Node Repository の下で、DB -> Connection -> DB Connector をドラッグアンドドロップします。これをダブルクリックし、Driver Name を先ほど設定したドライバー、今回は「Azure Data Lake Storage (ID: Azure Data Lake Storage)」に変更します。Database URL は自動で変更されます。
8. Apply をクリックし、続けてOK で変更を保存します。
9. コネクタを右クリックし、Execute を選択します。コネクタによってブラウザにリダイレクトされるので、そこでログインしてアクセスを許可する必要があります。そうすると、正常に接続されます。

これで、Node Repository のRead/Write セクションからDB Query Reader を取得し、クエリを実行できるようになります。

10. DB Query Reader をダブルクリックし、更新ボタンをクリックしてメタデータを読み込みます。SQL を記述して、Evaluate をクリックします。Evaluate をクリックすると、リクエストされたレコードが表示されます。ドライバーに記載されているテーブル / ビューの詳細については、データモデルを参照してください。

Azure Data Lake Storage からKNIME へのデータ連携には、ぜひCData JDBC ドライバをご利用ください

本記事で紹介したようにCData JDBC ドライバと併用することで、270を超えるSaaS、NoSQL、DB のデータをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData JDBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。製品の使用方法、購入方法などについてご質問がありました、お気軽にお問い合わせください。