Waha! Transformer からCData ODBC Driver を使ってSpark につないでみた

こんにちは！テクニカルディレクターの桑島です。

ノンコーディングでデータを連携・同期・統合するデータ連携（EAI）ツール「Waha! Transformer」には、ODBC でデータベースへ接続する機能が備わっているので、これを使ってSpark のデータ連携を行うことが可能です。 通常、Spark などのSaaS として提供されるアプリケーションにはWeb API でアクセスしますが、CData Spark ODBC Driver によって、RDB にアクセスするのと同感覚で、Spark のデータを扱うことができます。 本記事では、CData Spark 内のデータをファイルに出力するフローを作成する手順をご紹介します。

本記事は、CData Software が検証および執筆を行っております。本記事の内容については、お問い合わせフォームよりご相談ください。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにSpark のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.Waha! Transformar 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Waha! Transformer DesignerにてCData Sparkの接続情報を作成して、ODBC接続設定を行います。

1. Designerを起動して左側のペインから、接続情報を右クリックして、接続情報新規作成を選択します。
   
2. 接続情報新規作成ウィンドウが開くので、SQLDBを選択します。
   
3. SQLDB接続情報のプロパティウィンドウにて、名前に任意の名称、プロバイダ種類にODBC Driver、接続設定内のデータソース名に「CData Spark Source Sys」を選択して、接続チェックボタンをクリックして正常に接続できることを確認します。
   
4. 接続情報が作成されたことを確認します。

CData Sparkのビューの作成

CData Sparkのビューを作成します。

1. Designerの左側のペインから、ビューのテンプレートを右クリックして、ビュー新規作成を選択します。
   
2. ビューのプロパティウィンドウにて、ビュー名に任意の名称、接続情報の参照ボタンをクリックして上記手順で作成したCData Sparkへの接続情報を選択、下部のインポートボタンをクリックします。
   
3. インポートウィザード-インポート方法の選択ウィンドウが開くので、データベースのカラム定義情報から取得が選択されていることを確認して、次へボタンをクリックします。
   
4. 現在設定されている接続情報を使用するが選択されていることを確認して、次へボタンをクリックします。
   
5. テーブル一覧にSpark内のテーブルやビューが表示されるので任意のテーブルを選択して次へボタンをクリックします。
   
6. カラム一覧にSparkの選択したテーブル内のカラムが表示されるので全項目選択する場合は、すべてオンをクリックして完了ボタンをクリックします。
   
7. カラム設定エリアに上記選択したカラム一覧が表示されたことを確認してプレビューボタンをクリックします。
   
8. 選択したテーブル内のデータが表示されることを確認して閉じるボタンをクリックします。
   
9. ビューのプロパティ画面に戻り、閉じるボタンをクリックしてビューが作成されたことを確認します。
   

出力ファイルの接続情報の作成

出力するファイルの接続情報を作成します。

1. 接続情報を右クリックして、接続情報新規作成を選択します。
   
2. 接続情報新規作成ウィンドウが開くので、可変長テキストを選択します。
   
3. 可変長テキスト接続情報のプロパティウィンドウにて、名前に任意の名称、パス名にCSVファイルを出力するパス、必要に応じてその他の項目を設定してOKボタンをクリックします。
   
4. 接続情報が作成されたことを確認します。

出力ファイルのビューの作成

CSVファイルのビューを作成します。

1. ビューのテンプレートを右クリックして、ビュー新規作成を選択します。
   
2. ビューのプロパティウィンドウにて、ビュー名に任意の名称、接続情報の参照ボタンをクリックして上記手順で作成したCSVファイルの接続情報を選択、下部のインポートボタンをクリックします。
   
3. インポートウィザード-インポート方法の選択ウィンドウが開くので、データベースのカラム定義情報から取得が選択されていることを確認して、次へボタンをクリックします。
   
4. その他の接続情報を選択してCData Sparkの接続情報を選択して、次へボタンをクリックします。
   
5. テーブル一覧にSpark内のテーブルやビューが表示されるので上記手順で選択したテーブルを選択して次へボタンをクリックします。
   
6. カラム一覧にSparkの選択したテーブル内のカラムが表示されるので全項目選択する場合は、すべてオンをクリックして完了ボタンをクリックします。
   
7. カラム設定エリアに上記選択したカラム一覧が表示されたことを確認してOKボタンをクリックしてビューが作成されたことを確認します。
   

CData SparkをCSVファイルに出力するジョブの作成

CData SparkをCSVファイルに出力するジョブを作成します。

1. ジョブを右クリックして、ジョブ新規作成を選択します。
   
2. 左側のペインのビューのテンプレート内のCData SparkビューとCSVビューを右側のペインにドラッグドロップで配置します。
   
3. 右側ペイン上で右クリックしてビューフィルタ新規作成を選択します。
   
4. ビューフィルタ新規作成ウィンドウにて標準ビューフィルタを選択して、OKボタンをクリックします。
   
5. 標準ビューフィルタのプロパティ画面の入出力ビュータブ内のビュー一覧からCData SparkビューとCSVビューをそれぞれ右側の入力ビュー、出力ビューにセットします。
   
6. 次にカラムレイアウトタブにてカラムレイアウトの自動割当を行いOKボタンをクリックします。
   
7. 右側ペイン上に標準ビューフィルタをドロップしてCData Sparkビューを入力にCSVビューに出力されるフローが作成されたことを確認します。
   
8. 作成したジョブを任意の名称を付与して保存します。

CData SparkをCSVファイルに出力するジョブの実行

CData SparkをCSVファイルに出力するジョブを実行します。

1. メニューバー内の実行ボタンをクリックします。
   
2. 読み込み件数の設定ウィンドウが表示されます。この内容でよければOKボタンをクリックします。
   
3. ジョブが正常に実行されたことを確認します。
   
4. 出力されたCSVファイルを開きCData Spark内のデータがファイルに出力されたことを確認します。
   

Spark からWaha! Transformar へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。