製品をチェック

Apache Spark Data Provider の30日間無償トライアルをダウンロード

 30日間の無償トライアルへ

製品の詳細

Apache Spark アイコン Apache Spark ADO.NET Provider 相談したい

Apache Spark 連携のパワフルな.NET アプリケーションを素早く作成して配布。

Blazor でSpark データにリアルタイムで連携するアプリを構築

ASP.NET Core Blazor C# でSpark にSQL でクエリ。

杉本和也
リードエンジニア

最終更新日:2021-11-03
spark ロゴ

CData

ado ロゴ画像
Blazor ロゴ

こんにちは!リードエンジニアの杉本です。

Blazor は、.NET を使って対話型のクライアント側Web UI を構築するためのフレームワークです。JavaScript の代わりにC# を使って、UI を作れるところが魅力です。また、既存の.NET ライブラリや.NET エコシステムを使うことができる利点があります。

CData ADO.NET Provider for SparkSQL は、LINQ やEntity Framework などの標準のADO.NET インターフェースを使ってSpark を操作可能にします。Blazor が.NET Core 対応をしているため、Server Side Blazor からADO.NET Provider を使うことができます。この記事では、Server Side Blazor からSpark に接続して直接SQL クエリを実行する方法を説明します。

Blazor はADO.NET Provider の利用が可能

CData ADO.NET Provider for SparkSQL のインストール

CData ADO.NET Provider は、通常であればRDB に接続するフレームワークである ADO.NET DataAdapter やLinqToSQL(もしくはDapper などのORM を挟んでもいいです)であり、Spark のデータへもRDB と同感覚でアクセスが可能になります。

CData のWebsite からProvider をダウンロードして、マシンにインストールします。NuGet からインストールすることも可能です。Spark ADO.NET Data Provider で検索してください。

NuGet でADO.NET Spark Provider をインストール

Blazor でSpark にデータ連携するアプリを構築

Blazor にADO.NET Provider for SparkSQL を接続

  • Visual Studio を立ち上げて、Blazor アプリのプロジェクトを作成します。
  • Blazor アプリを作成
  • ソリューションエクスプローラーで「依存関係」から右クリックで「プロジェクト参照の追加」をクリック。
  • 参照マネージャーが開くので、「参照」ボタンをクリックして、先ほどインストールしたADO.NET Provider の.dll を選択します。「C:\Program Files\CData\CData ADO.NET Provider for SparkSQL 2019J\lib etstandard2.0」内のSystem.Data.CData.SparkSQL.dll」を参照に選びます。
  • ADO.NET for SparkSQL の.dll をBlazor アプリから参照

Blazor でSpark データをSELECT

サンプルプロジェクトの「Page」→「Index.razor」を開きます。

以下のコードを書きます。使っているクエリはおなじみの標準SQL です。Spark 固有のAPI を書かなくてもRDB と同感覚でSQL が書けるところがADO.NET Prover for SparkSQL の強味です。
@page "/" @using System.Data; @using System.Data.CData.SparkSQL;

Hello, world!

Welcome to your Data app.
@using (SparkSQLConnection connection = new SparkSQLConnection( "Server=127.0.0.1;")) { var sql = "SELECT City, Balance FROM Customers"; var results = new DataTable(); SparkSQLDataAdapter dataAdapter = new SparkSQLDataAdapter(sql, connection); dataAdapter.Fill(results); @foreach (DataColumn item in results.Rows[0].Table.Columns) { } @foreach (DataRow row in results.Rows) { @foreach (var column in row.ItemArray) { } }
@item.ColumnName
@column.ToString()
}

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

  • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  • Port:SparkSQL インスタンスへの接続用のポートに設定。
  • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

  • Server:Databricks クラスターのサーバーのホスト名に設定。
  • Port:443
  • TransportMode:HTTP
  • HTTPPath:Databricks クラスターのHTTP パスに設定。
  • UseSSL:True
  • AuthScheme:PLAIN
  • User:'token' に設定。
  • Password:パーソナルアクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

プロジェクトをリビルドして実行します。このようにSpark からデータを直接取得し、HTML テーブル形式にレンダリングしています。

Blazor アプリからSpark データをクエリ

もちろんSaaS データソースへの接続の場合には、RDB 向けのドライバーと違い最終的にはHTTP リクエストが行われるので、サーバーサイド Blazor としてサーバーサイドから実行されるのか、クライアントサイド Blazor として、実行中のブラウザからHTTPリクエストが行われるのかの違いはあります。そのあたりはネットワークやプロキシの設定として注意が必要でしょう。設定はコード内の接続プロパティで可能です。

まとめ

このようにサーバーサイドBlazor アプリから簡単にADO.NET Provider を使ってSpark にリアルタイムでデータ取得を行うアプリを作ることができました。Blazor が.NET Core、フレームワークのツール群を使えるというメリットを活かすことができます。今回はSELECT * でしたが、フィルタリングやJOIN も可能です。INSERT、UPDATE、DELETE も標準SQL で書くことができます。是非、30日の無償評価版でシンプルかつパワフルなADO.NET Provider でのサーバーサイドBlazor 連携をお試しください。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。