Databricks データをBoomi AtomSphere で連携利用する方法：CData JDBC Driver

こんにちは！テクニカルディレクターの桑島です。

Boomi AtomSphere https://boomi.com/は、Boomi 社が提供する、 シングルインスタンス、マルチテナントアーキテクチャを特徴としているデータ統合サービス（iPaaS）です。データ統合機能だけでなく、マスターデータのハブ機能、EDI、APIManagement、WorkFlow　といったビジネスユースに必要なデータ連携のすべてを実現する機能をシングルプラットフォームで提供しています。

この記事では、Boomi AtomSphere のオンプレミスAtom deployment 機能を使って、CData JDBC ドライバ経由でDatabricks データにアクセスする方法を紹介します。CData Drivers を使うことで、RDB のようにBoomi 内でDatabricks データを扱うことができるようになります。

Boomi のon-Premise Atom depleyment の作成

on-Premise Atom deployment （右上の青部分）を利用する構成としました。この機能を利用することでOn-Premise 側に配置したCData JDBC ドライバ経由でのSaaS 連携を実現します。

• ブラウザからBoomi Atom のManage > Atom Management のタブを開きます。
• +New > Atom を開きます。
• Atom Setup ダイアログが開くので、ブラウザを開いているマシンのOS（本例ではWindows10Pro 64bit）のSetup ファイルをダウンロードします。
• ダウンロードした「atom_install64.exe」を実行するとインストーラが起動します。
• Setup Wizard を進めます。
• ブラウザからBoomi Atom へのログインする時のUser・Password をセットして、Atom Name はデフォルトのまま、次に進みます。
• on-Premise Atom deployment のインストールディレクトリ（デフォルト）を指定して次に進みます。
• Setup Wizard を終了（Finish）します。
• ブラウザからBoomi Atom のManage > Atom Management のタブを開いて、上記で作成したon-Premise Atom Deployment が起動していることを確認します。なお、Windows マシンの場合、サービスからも起動を確認できます。on-Premise Atom deployment の作成は以上です。

Boomi on-Premise Atom deployment モジュールへのJDBC ドライバの配置

次に別途ダウンロード・インストールしたCData JDBC Driver for Databricks をBoomi on-premise Atom モジュールに配置していきます。

JDBC Drivers ファイルをCData 製品のインストールフォルダからon-Premise Atom deployment インストールパス配下のパスにコピーします。
• cdata.jdbc.databricks.jar
• cdata.jdbc.databricks.lic （試用版では.lic ファイルは不要）

• コピー元：C:\Program Files\CData\CData JDBC Driver for Databricks 2019J\lib
• コピー先：C:\Boomi AtomSphere\Atom - 10.211.55.9\lib

コピーしたらBoomi Atom をブラウザからリスタート(Restart Atom)してください。作成したon-Premise Atom deployment のInstalledLibraries にJDBCの.jar ファイルが表示されれば成功です。

Databricks のConnectionの作成

Boomi Atom からDatabricks データソースに接続するためのConnection を作成します。

• Welcom 画面の「Component > Connetion」を選択するとCreate Component ウィザードが開きます。
• Databricks への接続用のConnection 設定として以下の値をセットします。
  • Type: Connection
  • Component Name: ConnectionCDataDatabricks
  • Folder: 任意のパス
  • Connector: Database
• そしてJDBC Driver の接続設定を行います。

  Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。

  Note：Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

  • Database：Databricks データベース名に設定。
  • Server：Databricks クラスターのサーバーのホスト名に設定。
  • HTTPPath：Databricks クラスターのHTTP パスに設定。
  • Token：個人用アクセストークンに設定（この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます）。
  • Driver Type: Custom
  • Class Name: cdata.jdbc.databricks.DatabricksDriver
  • User Name: 本来であれば不要ですが、空のままだと後の手順でバリデーションエラーが発生するので適当な値をセットします
  • Password: 本来であれば不要ですが、空のままだと後の手順でバリデーションエラーが発生するので適当な値をセットします
  • Connection URL: jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;
• Connection の値を設定したら接続テストを行います。右上のTest Connection ボタンをクリックします。実行するAtom を選択する画面が表示されるので、上記手順で作成したon-Premise Atom deployment を選択します。
• テスト接続が成功することを確認してFinish ボタンでウィザードを閉じます。
• 作成した Databricks データ への接続Connection を保存（Save）します。

Boomi Atom でのDatabricks データ Profile の作成

次にProfile を設定していきます。ProfileとはSQL（SELECT/INSERT/UPDATE/DELETE）実行時のフィールド定義です。

• Databricks データ のテーブルをSELECT するProfile を作成していきます。
• • Type: Profle
  • Component Name: ProfileCDataDatabricks
  • Folder: 任意のパス
  • Connector: Database
• 二つのパラメータに、Display Name: デフォルト, Type: Select と値をセットしたら右上のImportボタンをクリックします。
• Database Import Wizardが開くので、以下のパラメータをセットして次に進みます。
  • Browse in: 上記手順で作成したon-Premise Atom deployment
  • Connection: 上記手順で作成した接続Connection
• Databricks データ 内のオブジェクトがテーブル一覧として表示されます。取得するテーブルにチェックをオンにして次に進みます。
• テーブル内のカラム一覧が表示されます。使用する項目のチェックをオンにして次に進みます。
• Import ウィザードが完了します。
• DataElements のField アイコンをクリックすると選択テーブル内のカラムが定義されていることを確認できます。また、SQL Script には取得時のSQL（SELECT）が表示されています。作成したProfile を保存します。
• これでDatabricks データ がBoom Atom で利用できるProfile として登録されました。

Boomi AtomSphere でのDatabricks データ の利用

あとは、設定されたProfile はRDB と同じようにBoomi Atom 内で利用することができます。カラムにマッピングを行うこともできます。

このようにCData JDBC ドライバをアップロードすることで、簡単にBoomi AtomSphere でDatabricks データ データをノーコードで連携し、使うことが可能です。

是非、CData JDBC Driver for Databricks 30日の無償評価版 をダウンロードして、お試しください。