Domo Workbench のSpark からデータセットを作成し、Domo からSpark データ に連携するビジュアライゼーションを作成

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

Domo は、組織全体でデータを管理、分析、また共有し、組織が戦略的な機会を逃さず判断し対応することを実現するデータ活用プラットフォームです。Domo Workbench は、社内データをDomo にアップロードするための安全なクライアントサイドソリューションを提供します。CData ODBC Driver for SparkSQL は、Domo Workbench をSpark データ に連携します。Workbench で標準のSQL クエリを使用してSpark データ からデータセットを構築し、Domo サービスでSpark データ のリアルタイムビジュアライゼーションを作成できます。

CData ODBC ドライバーは、最適化されたデータ処理がドライバーに組み込まれているため、Domo のライブSpark データとの連携に高いパフォーマンスを提供します。Domo からSparkに複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接Sparkにプッシュし、埋め込みSQL エンジンを利用してサポートされていない操作（SQL 関数やJOIN 操作）を処理します。 組み込みの動的メタデータクエリを使用すると、ネイティブのDomo データ型を使用してSpark データを視覚化および分析できます。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにSpark データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.Domo 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

ODBC DSN (data source name) にて接続プロパティをまだ指定していない場合、指定します。ODBC DSN を作成し構成するために、Microsoft ODBC Data Source Administrator を利用できます。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

• Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：SparkSQL インスタンスへの接続用のポートに設定。
• TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

• Server：Databricks クラスターのサーバーのホスト名に設定。
• Port：443
• TransportMode：HTTP
• HTTPPath：Databricks クラスターのHTTP パスに設定。
• UseSSL：True
• AuthScheme：PLAIN
• User：'token' に設定。
• Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

DSN を構成する際、Max Rows の接続プロパティ設定が必要かもしれません。これにより返される行数を制限します。レポートやビジュアライゼーション（可視化）を設計する際のパフォーマンス向上に、とくに役立ちます。

DSN を作成したあと、Spark DSN を用いDomo Workbench でSpark のデータセットを作成し、そのデータセットに基づきDomo サービスでビジュアライゼーションを構築する必要があります。

Spark データ のデータセットを作成

下記の手順に沿って、CData ODBC Driver for SparkSQL を用いて Domo Workbench のSpark のテーブルに基づいたデータセットを構築できます。

1. Domo Workbenchを開きます。まだDomo サービスサーバーをWorkbench に追加していない場合、追加します。Accounts のサブメニューより、Add New をクリック。サーバーアドレス（domain.domo.com など）を入力し、認証ウィザードからクリックします。
2. DataSet Jobs サブメニューから、Add New をクリックします。
3. データセットジョブに名前をつけ（ODBC Spark Customersなど）、変換方法としてODBC Connection Provider を選択、ウィザードからクリックします。
4. 新規に作成されたDataSet Job で、Source へ移動、設定を構成するためクリックします。
5. Connection Type にSystem DSN を選択します。
6. System DSN に以前構成したDSN （CData SparkSQL Sys）を選択します。
7. 構成を確定するためクリックします。
8. 設定にて、Query をSQL クエリに設定します。 SELECT * FROM Customers 備考: ODBC ドライバーを利用しSpark データ データへ接続することで、データを取得するためにシンプルなSQL の知識だけで、Spark 特有のAPI またはプロトコルを知る必要性がなくなります。
9. Preview をクリックします。
10. 生成されたスキーマからデータを確認し、変更を加えます。それから、保存しデータセットのジョブを実行します。

データセットのジョブを実行すると、データセットはDomo サービスからアクセス可能になります。これにより、Spark データ を基にした可視化、レポート作成、そしてさらにさまざまなことができるようになります。

データビジュアライゼーションを作成

DataSet Job を保存しDomo Workbench 上で実行すると、Domo サービス上で Spark データ の可視化準備が完了です。

1. Data Center へ移動します。
2. データウェアハウスにて、ODBC データソースを選択し、新しいデータセットへドリルダウンします。
3. データセットを選択し、Create a visualization を選びます。
4. 新しいカードで、下記を実行します。
   • Dimension をX Value へドラッグ。
   • Measure をY Value へドラッグ。
   • Visualization を選択。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。