Power BI Service でSpark のデータをリアルタイムでビジュアライズ

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Power BI を使えば組織のデータをリッチなビジュアルに変換して収集および整理することができるため、重要なことだけに集中できます。CData Connect Cloud と組み合わせると、ビジュアライゼーションやダッシュボード用にSpark のデータにクラウドベースでアクセスできます。この記事では、Power BI のSpark のデータからデータセットを構築して公開し、Power BI サービスのSpark のデータに関するレポートを作成する方法について説明します。

CData Connect Cloud は、ピュアSQL のクラウドインターフェースをSpark に提供し、データを複製せずにPower BI のリアルタイムSpark のデータと簡単に統合できるようにします。ビジュアライゼーションを作成すると、Power BI はデータを収集するためのSQL クエリを生成します。CData Connect Cloud は、最適化されたデータ処理を使用してサポートされているすべてのSQL 操作（フィルタ、JOIN など）をSpark に直接プッシュし、サーバー側の処理を利用して、要求されたSpark のデータを高速で返します。

Connect Cloud からSpark に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Spark」を選択します。
3. 必要な認証プロパティを入力し、Spark に接続します。

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

4. Create & Test をクリックします。
5. Edit Spark Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
2. User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

コネクションが構成されたら、Power BI からSpark に接続できるようになります。

Power BI からConnect Cloud に接続する

Power BI サービスでリアルタイムSpark のデータに接続してビジュアライズするには、オンプレミスデータゲートウェイをインストールしてPower BI サービスからゲートウェイにデータソースを追加し、Power BI Desktop からサービスにデータセットを公開します。

オンプレミスデータゲートウェイをインストールする

Microsoft オンプレミスデータゲートウェイは、接続されたデータソースとさまざまなクラウドベースのMicrosoft ツールおよびプラットフォーム間の安全なデータ転送を提供します。ゲートウェイの詳細については、Microsoft のドキュメントを参照してください。

Power BI サービスからゲートウェイをダウンロードし、インストールできます。

1. PowerBI.com にログインします。
2. 「Download」メニューをクリックし、「Data Gateway」をクリックします。
3. インストールの手順に従ってゲートウェイの名前をメモします。

Spark をデータソースとしてPower BI サービスに追加する

データゲートウェイをインストールしたら、Connect Cloud をデータソースとしてPower BI サービスに追加します。

1. PowerBI.com にログインします。
2. 「Settings」メニューをクリックして「Manage gateways」をクリックします。
3. 「ADD DATA SOURCE」をクリックしてConnect Cloud への接続を構成します。
   
   
   • Data Source Name をConnectCloudSparkSQL に設定します。
   • Data Source Type としてSQL Server を選択します。
   • Server を tds.cdata.com,14333 に設定します。
   • Database をSpark コネクションの名前に設定します。（例：SparkSQL1）
   • Authentication Method をBasic に設定します。
   • Username をConnect Cloud のユーザーに設定します。（[email protected]）
   • Password をユーザーのPAT に設定します。

Power BI Desktop からデータセットを公開する

ゲートウェイをインストールし、Connect Cloud をデータソースとしてPower BI サービスに追加すると、Power BI Desktop からサービスにデータセットを公開できます。

1. Power BI を開いて「Get Data」-->「More」とクリックし、SQL Server データベースを選択して「Connect」をクリックします。
2. 接続プロパティを設定し、「OK」をクリックします。
   • Server をtds.cdata.com,14333 に設定します。
   • Database をSpark コネクションの名前に設定します。（例：SparkSQL1）
   • Data Connectivity mode をDirectQuery* に設定します。
   * DirectQuery は、Spark のデータのリアルタイムクエリ処理とリアルタイムのビジュアライゼーションを可能にします。
3. 「authentication」ウィザードで「Database」を選択してUser name とPassword のプロパティを設定し、「Connect」をクリックします。
4. 「Navigator」ダイアログでテーブルを選択し、ビジュアライズします。

5. 「Query Editor」では、Spark カラムをフィルタリング、並べ替え、要約することでデータセットをカスタマイズできます。「Edit」をクリックしてクエリエディタを開きます。行をフィルタするには、行を右クリックします。カラムヘッダーを右クリックして、次のオプションを実行します。

   • カラムのデータタイプを変更
   • カラムの削除
   • カラムをグループ化

   Power BI は、Connect Cloud によって報告されたSpark メタデータから、各カラムのデータタイプを検出します。

   Power BI は、クエリへの変更を「Applied Steps」セクションに記録し、リモートSpark のデータに対して実行される、基礎となるデータ取得クエリを調整します。「Close and Apply」をクリックすると、Power BI はデータ取得クエリを実行します。

   もしくは、「Load」をクリックしてデータをPower BI にプルします。

6. 「Relationships」タブで選択したエンティティ間のリレーションを定義します。
7. 「Home」メニューから「Publish」をクリックして「Workspace」を選択します。

Power BI Service からSpark のデータを使ってレポートとダッシュボードを作成する

Power BI サービスにデータセットを公開したので、公開されたデータに基づいて新しいレポートとダッシュボードを作成できます。

1. PowerBI.com にログインします。
2. 「Workspaces」をクリックし、ワークスペースを選択します。
3. 「Create」をクリックし、「Report」を選択します。
4. レポート用に公開されたデータセットを選択します。
5. フィールドとビジュアライゼーションを選択してレポートを追加します。

クラウドアプリケーションからSpark のデータへのSQL アクセス

Power BI サービスからSpark のデータへリアルタイムで直接接続ができるようになりました。これで、Spark を複製せずにより多くのデータソースや新しいビジュアライゼーション、レポートを作成することができます。

クラウドアプリケーションから直接100を超えるSaaS 、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスを取得するには、CData Connect Cloud をお試しください。