Apache Spark でDynamics NAV のデータをSQL で操作する方法

こんにちは！リードエンジニアの杉本です。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for DynamicsNAV と組み合わせると、Spark はリアルタイムでDynamics NAV のデータに連携して処理ができます。本記事では、Spark シェルに接続してDynamics NAV をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムDynamics NAV と対話するための高いパフォーマンスを提供します。Dynamics NAV に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接Dynamics NAV にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してDynamics NAV を操作して分析できます。

CData JDBC Driver for DynamicsNAV をインストール

まずは、本記事右側のサイドバーからDynamicsNAV JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してDynamics NAV のデータに接続

1. ターミナルを開き、Spark shell でCData JDBC Driver for DynamicsNAV JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for DynamicsNAV/lib/cdata.jdbc.dynamicsnav.jar
2. Shell でJDBC URL を使ってDynamics NAV に接続し、SQL Context load() function でテーブルを読み込みます。

   Dynamics NAV 接続プロパティの取得・設定方法

   Dynamics NAV に接続する前に、サーバーでOData サービスを有効にしておく必要があります。OData サービスを有効にすると、CData 製品はサーバーで発行されるあらゆるサービスにクエリできるようになります。Url を有効なDynamics NAV サーバー組織のルート（例：http://MyServer:7048）およびServerInstance（例：DynamicsNAV71）に設定します。 もしサーバーにService Default Company がない場合は、Company（例：'CRONUS Canada, Inc.'）も設定する必要があります。 マルチテナントインストールでは、Tenant にテナントId（例：'Cronus1'）を指定します。

   認証するには、User およびPassword プロパティを設定して、Dynamics NAV ログインクレデンシャルまたはWindows ユーザークレデンシャルを有効にします。 AuthScheme で適切な認証メソッドを選択します。

   組み込みの接続文字列デザイナー

   JDBC 接続文字列URL の作成には、Dynamics NAV JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

   java -jar cdata.jdbc.dynamicsnav.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   scala> val dynamicsnav_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:dynamicsnav:http://myserver:7048;User=myserver\Administrator;Password=admin;ServerInstance=DYNAMICSNAV71;").option("dbtable","Customer").option("driver","cdata.jdbc.dynamicsnav.DynamicsNAVDriver").load()
3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。

4. Dynamics NAV をテンポラリーテーブルとして登録します:

   scala> dynamicsnav_df.registerTable("customer")

5. データに対して、次のようなカスタムSQL クエリを実行します。

   scala> dynamicsnav_df.sqlContext.sql("SELECT Name, Prices_Including_VAT FROM Customer WHERE Name = Bob").collect.foreach(println)

   コンソールで、次のようなDynamics NAV のデータを取得できました！これでDynamics NAV との連携は完了です。

CData JDBC Driver for DynamicsNAV をApache Spark で使って、Dynamics NAV に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。