Databricks のデータをDataiku DSS にロードして分析処理を行う方法：CData JDBC Driver

CData JDBC ドライバを使って、データサイエンスソフトのDataiku Data Science Studio で Databricks のデータを分析処理。

宮本航太
プロダクトスペシャリスト
最終更新日：2022-05-20

CData

こんにちは！プロダクトスペシャリストの宮本です。

Dataiku Data Science Studio (DSS) www.dataiku.com/は開発者およびアナリスト向けのデータサイエンスプラットフォームです。

データベース、ファイル系を中心につなぎ先が色々とあります。その中に「Custom connectivity through JDBC」とあるので、今回はそこに CData JDBC ドライバを組み込む内容となっています。
この記事では、Dataiku DSS で CData JDBC Driverを利用してDatabricks のデータを扱う方法を紹介します。

Dataiku DSS に JDBC Driver for Databricksを配置する

CData JDBC Driver for Databricks をインストールします。
インストールが完了すると、lib ディレクトリに以下のようにjarファイル、licファイルが置かれました。


            user@LAPTOP-T1M78GUR:~/cdata/databricks$ cd lib/
            user@LAPTOP-T1M78GUR:~/cdata/databricks/lib$ ll
            total 7556
            drwxr-xr-x 1 root root    4096 Feb 28 12:06 ./
            drwxr-xr-x 1 root root    4096 Feb 28 12:06 ../
            -rw-r--r-- 1 root root 7685088 Feb 27 14:53 cdata.jdbc.databricks.jar
            -rw-r--r-- 1 root root     368 Feb 28 12:06 cdata.jdbc.databricks.lic
            -rw-r--r-- 1 root root     951 Feb 27 14:40 cdata.jdbc.databricks.remoting.ini

次に、jar ファイルと lic ファイルを Dataikuの DSS から参照できるよう以下のディレクトリに配置します。


            user@LAPTOP-T1M78GUR:~/cdata/databricks/lib$ cp -p cdata.jdbc.databricks.jar /home/user/DATA_DIR/lib/jdbc/
            user@LAPTOP-T1M78GUR:~/cdata/databricks/lib$ cp -p cdata.jdbc.databricks.lic /home/user/DATA_DIR/lib/jdbc/
            user@LAPTOP-T1M78GUR:~/cdata/databricks/lib$ ll /home/user/DATA_DIR/lib/jdbc/
            total 8064
            drwxr-xr-x 1 user user    4096 Feb 28 12:15 ./
            drwxr-xr-x 1 user user    4096 Feb 26 17:20 ../
            -rw-r--r-- 1 user user 7685088 Feb 27 14:53 cdata.jdbc.databricks.jar
            -rw-r--r-- 1 user user     368 Feb 28 12:06 cdata.jdbc.databricks.lic
            user@LAPTOP-T1M78GUR:~/cdata/databricks/lib$

これで、DSS に CData Databricks JDBC Driver を組み込むことができました。

Data Science Studio（DSS）で Databricks のデータデータにアクセスする

「NEW PROJECT」→ 「Blank Project」をクリックします。

データセットを作成していきます。「IMPORT YOUR FIRST DATASET」をクリックします。

ここでは、「Other SQL」を選択します。

「IMPORT YOUR FIRST DATASET」をクリックしてください。

「+ NEW CONNECTION」を選択します。

「Other SQL databases」をクリックします。

以下の内容を入力し、接続確認を行います。
- Connection Name: 任意
- JDBC driver class: cdata.jdbc.databricks.DatabricksDriver
- JDBC URL: jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;

接続ができたら、横の「CREATE」ボタンを押して設定した内容を保存します。
またプロジェクト画面から「IMPORT YOUR FIRST DATASET」→「Other SQL」で以下の画面を呼び出します。ここでは、先ほど登録した Databricks がデータソースとして選べるようになっています。赤枠にあるように、 Databricks のオブジェクトがテーブル一覧になって表示することができました。