MicroStrategy Web でCData JDBC Driver を使用してSpark に接続

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

MicroStrategy は、データドリブンイノベーションを可能にする分析およびモバイルプラットフォームです。MicroStrategy とCData JDBC Driver for SparkSQL を組み合わせると、MicroStrategy からデータベースと同じようにリアルタイムSpark データにアクセスできるようになり、レポート機能と分析機能が拡張されます。この記事では、MicroStrategy Web の外部データソースとしてSpark を追加し、Spark データの簡単なビジュアライゼーションを作成する方法について説明します。

CData JDBC ドライバーは、ドライバーに組み込まれている最適化されたデータ処理により、MicroStrategy でリアルタイムSpark データとやり取りするための比類のないパフォーマンスを提供します。MicroStrategy からSpark に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をSpark に直接プッシュし、組み込まれたSQL エンジンを利用してサポートされていない操作（主にSQL 関数とJOIN 操作）をクライアント側で処理します。ビルトインの動的メタデータクエリを使用すると、ネイティブのMicroStrategy データタイプを使用してSpark データをビジュアライズおよび分析できます。

MicroStrategy Web を使用してSpark データに接続し、ビジュアライズする

CData JDBC Driver for SparkSQL を使用したデータソースを追加することにより、MicroStrategy Web のSpark に接続できます。^*始める前に、MicroStrategy Web のインスタンスが接続されているMicroStrategy Intelligence Server をホストするマシンにJDBC Driver for SparkSQL をインストールする必要があります。データソースを作成したら、MicroStrategy Web でSpark データの動的なビジュアライゼーションを構築できます。

1. MicroStrategy Web を開き、プロジェクトを選択します。
2. ［Add External Data］をクリックし、［Databases］を選択して［Import Option］として［Select Tables］を使用します。
3. ［Import from Tables］ウィザードでクリックして新しいデータソースを追加します。
4. ［Database］メニューで［Generic］を選択し、［Version］メニューで［Generic DBMS］を選択します。
5. リンクをクリックして接続文字列を表示し、接続文字列を編集するオプションを選択します。「Driver」メニューで、「MicroStrategy Cassandra ODBC Driver」を選択します。（MicroStrategy では、JDBC を介してインターフェースするために認定ドライバーが必要なだけで、実際のドライバーは使用されません。
6. 接続文字列を次のように設定します。 JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.sparksql.SparkSQLDriver;URL={jdbc:sparksql:Server=127.0.0.1;};

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

   組み込みの接続文字列デザイナー

   JDBC URL の構築については、Spark JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

   java -jar cdata.jdbc.sparksql.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   JDBC URL を構成する際に、Max Rows 接続プロパティも設定できます。これにより返される行数が制限されるため、レポートやビジュアライゼーションをデザインするときのパフォーマンスを向上させることができます。

7. 新しいデータソースで右クリックし、「Edit catalog options」を選択します。
8. SQL Statement をSELECT * FROM SYS_SCHEMAS に編集し、JDBC Driver からメタデータを読み取ります。
9. 新しいデータソースを選択して使用可能なテーブルを表示します。テーブルを表示するには、「Available Tables」セクションの検索アイコンを手動でクリックする必要があります。
10. テーブルをペインにドラッグしてインポートします。 Note：ライブ接続を作成するので、テーブル全体をインポートしてMicroStrategy 製品に固有のフィルタリングおよび集計機能を利用してデータセットをカスタマイズできます。
11. ［Finish］をクリックして、ライブ接続するオプションを選択してクエリを保存し、新しいドシエを作成するオプションを選択します。CData JDBC ドライバーにネイティブな高性能データ処理を使用して、高性能なライブ接続が可能です。
12. ビジュアライゼーションを選択して表示するフィールドを選択し、フィルタを適用してSpark データの新しいビジュアライゼーションを作成します。データ型は動的なメタデータ検出によって自動的に検出されます。可能であれば、フィルタと集計によって生成された複雑なクエリはSpark にプッシュダウンされ、サポートされていない操作（SQL 関数とJOIN 操作を含む）は、ドライバーに組み込まれたCData SQL エンジンによってクライアント側で管理されます。
13. ドシエの構成が完了したら、［File］->［Save］とクリックします。

CData JDBC Driver for SparkSQL をMicroStrategy Web で使用することで、Spark データで強固なビジュアライゼーションとレポートを簡単に作成することができます。その他の例については、MicroStrategy でSpark に接続やMicroStrategy Desktop でSpark に接続をお読みください。

Note：JDBC Driver を使用して接続するには、3- または 4-Tier Architecture が必要です。