SAP Lumira でSpark のOData Feeds を取り込み

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData Connect Cloud を使って、SAP Lumira でSpark に基づくビジュアライゼーションを作成できます。CData Connect Cloud により、リアルタイムデータへの接続が可能になります。ダッシュボードとレポートはオンデマンドで更新できます。この記事では、常に最新であるグラフを作成する方法を説明します。

CData Connect Cloud はSpark のデータへのクラウドベースのOData インターフェースを提供し、SAP Lumira からSpark のデータへのリアルタイム連携を実現します。

Connect Cloud を構成

SAP Lumira でSpark のデータを操作するには、Connect Cloud からSpark に接続し、コネクションにユーザーアクセスを提供してSpark のデータのOData エンドポイントを作成する必要があります。

Spark に接続したら、目的のテーブルのOData エンドポイントを作成します。

（オプション）新しいConnect Cloud ユーザーの追加

必要であれば、Connect Cloud 経由でSpark に接続するユーザーを作成します。

1. 「Users」ページに移動し、 Invite Users をクリックします。
2. 新しいユーザーのE メールアドレスを入力して、 Send をクリックしてユーザーを招待します。
3. 「Users」ページからユーザーを確認および編集できます。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
2. 「User Profile」ページで「Access Token」セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

Connect Cloud からSpark に接続

CData Connect Cloud では、簡単なクリック操作ベースのインターフェースでデータソースに接続できます。

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. 「Add Connection」パネルから「Spark」を選択します。
3. 必要な認証プロパティを入力し、Spark に接続します。

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

4. Create & Test をクリックします。
5. 「Add Spark Connection」ページの「Permissions」タブに移動し、ユーザーベースのアクセス許可を更新します。

Connect Cloud にSpark OData エンドポイントを追加する

Spark に接続したら、目的のテーブルのOData エンドポイントを作成します。

1. OData ページに移動し、 Add をクリックして新しいOData エンドポイントを作成します。
2. Spark 接続（例：SparkSQL1）を選択し、Next をクリックします。
3. 使用するテーブルを選択し、「Confirm」をクリックします。

コネクションとOData エンドポイントを設定したら、SAP Lumira からSpark のデータに接続できます。

SAP Lumira からSpark への接続

以下のステップに従って、Spark をSAP Lumira に取得します。SQL クエリを実行するか、UI を使用できます。

1. SAP Lumira で［File］->［New］->［Query with SQL］とクリックします。Add New Dataset ダイアログが表示されます。
2. ［Generic］セクションを展開し、［Generic OData 2.0 Connector］オプションをクリックします。
3. ［Service Root URI］ボックスに、CData Connect Cloud のOData エンドポイントを入力します。URL は次の例のようになります。 https://your-server:8032/api.rsc
4. ［User Name］と［Password］のボックスにAPI ユーザーのユーザー名とパーソナルアクセストークンを入力します。これらの資格情報は、HTTP 基本認証で使用されます。

5. ツリーでエンティティを選択するか、SQL クエリを入力します。この記事では、Spark Customers エンティティをインポートします。

6. ［Connect］をクリックすると、SAP Lumira は対応するOData 要求を生成し、結果をメモリにロードします。その後、フィルタ、集計、要約関数など、SAP Lumira で使用可能な任意のデータ処理ツールを使用できます。

データのビジュアライゼーションを作成

データをインポートした後、［Visualize］ルームでデータのビジュアライゼーションを作成できます。以下のステップに従って、基本グラフを作成します。

1. ［Measures and Dimensions］ペインで、メジャーとディメンションを［Visualization Tools］ペインの［x-axis］フィールドと［y-axis］フィールドにドラッグします。SAP Lumira は、CData Connect Cloud のメタデータサービスからディメンションとメジャーを自動的に検出します。

   デフォルトでは、SUM 関数はすべてのメジャーに適用されます。メジャーの横にある歯車のアイコンをクリックしてデフォルトの要約を変更します。

2. ［Visualization Tools］ペインで、グラフの種類を選択します。
3. ［Chart Canvas］ペインで、フィルタを適用し、メジャーで並べ替え、ランキングを追加して現在のSpark でグラフを更新します。