SSIS を使ってSpark のデータをSQL Server にインポート

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

SQL Server に基幹業務データのバックアップを保管しておくことは、ビジネス上のセーフティネットとなります。また、ユーザーはSQL Server のバックアップデータからレポーティングや分析を簡単に行うことができます。

ここでは、SQL サーバー SSIS ワークフロー内でCData SSIS Tasks for SparkSQL を使用して、Spark のデータをMicrosoft SQL Server データベースに転送する方法を説明します。

Components の追加

開始するには、新しいSpark ソースとSQL Server ADO.NET 転送先を新しいデータフロータスクに追加します。

新しいコネクションマネジャーを作成

以下のステップに従って、接続マネジャーでSpark 接続プロパティを保存します。

1. Connection Manager ウィンドウで、右クリックで［New Connection］ を選択します。Add SSIS Connection Manager ダイアログが表示されます。
2. ［Connection Manager type］メニューでSparkSQL を選択します。CData Spark Connection Manager が表示されます。
3. 接続プロパティを構成します。

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

Spark Source の構成

以下のステップに従って、Spark の抽出に使用するクエリを指定します。

1. Spark ソースをダブルクリックしてソースコンポーネントエディタを開きます。
2. ［Connection Manager］メニューで、以前作成した接続マネジャーを選択します。
3. データの書き出しに使用するクエリを指定します。例： SELECT City, Balance FROM Customers
4. Spark Source コントロールを閉じて、ADO.NET Destination に接続します。

SQL Server Destination を構成する

以下のステップに従って、Spark をロードするSQL サーバーテーブルを指定します。

1. ADO.NET Destination を選択して、新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力。
2. Data access モードメニューで、［table or view］を選択します。
3. ［Table Or View］メニューで、設定するテーブルまたはビューを選択します。
4. ［Mappings］画面で必要なプロパティを設定します。

プロジェクトの実行

プロジェクトを実行できるようになりました。SSIS Task の実行が完了すると、データベースにSpark のデータが入力されます。