Avro のデータをDataiku DSS にロードして分析処理を行う方法：CData JDBC Driver

CData JDBC ドライバを使って、データサイエンスソフトのDataiku Data Science Studio で Avro のデータを分析処理。

宮本航太
プロダクトスペシャリスト
最終更新日：2022-05-20

CData

こんにちは！プロダクトスペシャリストの宮本です。

Dataiku Data Science Studio (DSS) www.dataiku.com/は開発者およびアナリスト向けのデータサイエンスプラットフォームです。

データベース、ファイル系を中心につなぎ先が色々とあります。その中に「Custom connectivity through JDBC」とあるので、今回はそこに CData JDBC ドライバを組み込む内容となっています。
この記事では、Dataiku DSS で CData JDBC Driverを利用してAvro のデータを扱う方法を紹介します。

Dataiku DSS に JDBC Driver for Avroを配置する

CData JDBC Driver for Avro をインストールします。
インストールが完了すると、lib ディレクトリに以下のようにjarファイル、licファイルが置かれました。


            user@LAPTOP-T1M78GUR:~/cdata/avro$ cd lib/
            user@LAPTOP-T1M78GUR:~/cdata/avro/lib$ ll
            total 7556
            drwxr-xr-x 1 root root    4096 Feb 28 12:06 ./
            drwxr-xr-x 1 root root    4096 Feb 28 12:06 ../
            -rw-r--r-- 1 root root 7685088 Feb 27 14:53 cdata.jdbc.avro.jar
            -rw-r--r-- 1 root root     368 Feb 28 12:06 cdata.jdbc.avro.lic
            -rw-r--r-- 1 root root     951 Feb 27 14:40 cdata.jdbc.avro.remoting.ini

次に、jar ファイルと lic ファイルを Dataikuの DSS から参照できるよう以下のディレクトリに配置します。


            user@LAPTOP-T1M78GUR:~/cdata/avro/lib$ cp -p cdata.jdbc.avro.jar /home/user/DATA_DIR/lib/jdbc/
            user@LAPTOP-T1M78GUR:~/cdata/avro/lib$ cp -p cdata.jdbc.avro.lic /home/user/DATA_DIR/lib/jdbc/
            user@LAPTOP-T1M78GUR:~/cdata/avro/lib$ ll /home/user/DATA_DIR/lib/jdbc/
            total 8064
            drwxr-xr-x 1 user user    4096 Feb 28 12:15 ./
            drwxr-xr-x 1 user user    4096 Feb 26 17:20 ../
            -rw-r--r-- 1 user user 7685088 Feb 27 14:53 cdata.jdbc.avro.jar
            -rw-r--r-- 1 user user     368 Feb 28 12:06 cdata.jdbc.avro.lic
            user@LAPTOP-T1M78GUR:~/cdata/avro/lib$

これで、DSS に CData Avro JDBC Driver を組み込むことができました。

Data Science Studio（DSS）で Avro のデータデータにアクセスする

「NEW PROJECT」→ 「Blank Project」をクリックします。

データセットを作成していきます。「IMPORT YOUR FIRST DATASET」をクリックします。

ここでは、「Other SQL」を選択します。

「IMPORT YOUR FIRST DATASET」をクリックしてください。

「+ NEW CONNECTION」を選択します。

「Other SQL databases」をクリックします。

以下の内容を入力し、接続確認を行います。
- Connection Name: 任意
- JDBC driver class: cdata.jdbc.avro.AvroDriver
- JDBC URL: jdbc:avro:URI=C:/folder/table.avroInitiateOAuth=GETANDREFRESH

接続ができたら、横の「CREATE」ボタンを押して設定した内容を保存します。
またプロジェクト画面から「IMPORT YOUR FIRST DATASET」→「Other SQL」で以下の画面を呼び出します。ここでは、先ほど登録した Avro がデータソースとして選べるようになっています。赤枠にあるように、 Avro のオブジェクトがテーブル一覧になって表示することができました。