MicroStrategy でCData JDBC Driver を使ってHive に接続

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

MicroStrategy は、データ主導のイノベーションを可能にする、モビリティプラットフォームです。MicroStrategy をCData JDBC Driver for ApacheHive とペアリングすると、MicroStrategy からリアルタイムHive へのデータベースのようなアクセスが得られ、レポート機能と分析機能が拡張されます。この記事では、MicroStrategy Developer でHive のデータベースインスタンスを作成し、Hive のWarehouse Catalog を作成します。

CData JDBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、MicroStrategy でリアルタイムHive と対話するための圧倒的なパフォーマンスを提供します。MicroStrategy からHive に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をHive に直接プッシュし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブのMicroStrategy データタイプを使用してHive を視覚化および分析できます。

MicroStrategy Developer のHive に接続

CData JDBC Driver for ApacheHive に基づくデータベースインスタンスを追加することにより、MicroStrategy Developer のHive に接続できます。^* 開始する前に、MicroStrategy Developer のインスタンスが接続されているMicroStrategy Intelligence Server をホストとするマシンにJDBC Driver for ApacheHive をインストールする必要があります。

1. MicroStrategy Developer を開き、［Project Source］を選択します。
2. ［Administration］->［Configuration Managers］->［Database Instances］と進み、右クリックして新しいインスタンスを追加します。
3. インスタンスに名前を付け、データベース接続タイプとしてGeneric DBMS を選択し、新しいデータベース接続を作成します。
4. データベース接続ウィザードで接続に名前を付け、新しいデータベースログイン名を作成してHive のユーザーとパスワードを設定します。
5. 接続ウィザードの［Advanced］タブで、追加の接続文字列パラメータを以下のように設定します。
   • JDBC キーワードを接続文字列に追加します。
   • MSTR_JDBC_JAR_FOLDER をJDBC ドライバーのJAR ファイルを含むディレクトリのパスに設定します。(C:\Program Files\CData JDBC Driver for ApacheHive\lib\ on Windows.)
   • DRIVER をドライバークラスであるcdata.jdbc.apachehive.ApacheHiveDriver に設定します。
   • URL をHive ドライバーのJDBC URL に設定します。これには、必要な接続プロパティが含まれています。

     Apache Hive への接続を確立するには以下を指定します。

     • Server：HiveServer2 をホストするサーバーのホスト名またはIP アドレスに設定。
     • Port：HiveServer2 インスタンスへの接続用のポートに設定。
     • TransportMode：Hive サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
     • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
     • CData 製品においてTLS/SSL を有効化するには、UseSSL をTrue に設定します

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Hive JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.apachehive.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

   以下は、一般的な追加の接続文字列プロパティです。

   JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.apachehive.ApacheHiveDriver;URL={jdbc:apachehive:Server=127.0.0.1;Port=10000;TransportMode=BINARY;};
6. ODBC データソースが選択されていないことを確認し、(これによりMicroStrategy がトリガーされ、追加の接続文字列パラメータを使用してデータベースインスタンスが構築されます)［OK］をクリックします。
7. ［OK］をクリックし、データベースインスタンスウィザードを閉じます。
8. ［Project Source］でプロジェクトを右クリックし、［Project configuration］を開きます。
9. ［Database Instances］に移動し、新しく作成したデータベースインスタンスを選択して［OK］をクリックします。
10. MicroStrategy Developerを閉じ、接続されたMicroStrategy Intelligence Server を再起動してデータベースインスタンスの作成を完了します。

データベースインスタンスを構成すると、Warehouse Catalog およびData Import からHive に接続できるようになります。

Warehouse Catalog からHive のデータに接続する

JDBC Driver for ApacheHive に基づいてデータベースインスタンスを作成すると、Warehouse Catalog のデータに接続できます。

1. プロジェクトを選択し、［Schema］->［Warehouse Catalog］をクリックします。
2. ［Read Settings for the Catalog］で［Settings］をクリックし、スキーマを取得するためのクエリを設定します。
   • テーブルのリストを取得するには、以下のクエリを使用します。 SELECT * FROM SYS_TABLES
   • 選択したテーブルの例のリストを取得するには、以下のクエリを使用します。 SELECT DISTINCT CatalogName NAME_SPACE, TableName TAB_NAME, ColumnName COL_NAME, DataTypeName DATA_TYPE, Length DATA_LEN, NumericPrecision DATA_PREC, NumericScale DATA_SCALE FROM SYS_TABLECOLUMNS WHERE TableName IN (#TABLE_LIST#) ORDER BY 1,2,3
3. プロジェクトで使用するテーブルを選択します。

MicroStrategy のCData JDBC Driver for ApacheHive を使用すると、Hive で安定したビジュアライズとレポートを簡単に作成できます。詳細については、MictroStrategy でのHive への接続やMicroStrategy Desktop でのHive への接続 に関するほかの記事をお読みください。

NoteJDBC Driver を使用して接続するには、3層から4層のアーキテクチャが必要です。