Monaca アプリで使えるDatabricks のデータ連携用のバックエンドAPI をノーコードで開発

ハイブリッドアプリ開発プラットフォームMonaca から Databricks のデータに接続するためのバックエンドAPI サーバーをCData API Server で構築

宮本航太
プロダクトスペシャリスト
最終更新日：2022-05-15

CData

こんにちは！プロダクトスペシャリストの宮本です。

CData API Server と ADO.NET Provider for Databricks を使って、Monaca ハイブリッドアプリ開発プラットフォーム(https://ja.monaca.io/) から Databricks に接続してデータを取得する方法を説明します。

Databricks とのデータ連携について

Databricks のライブデータへのアクセスと統合は、CData を活用することでかつてないほど簡単になります。ユーザーは、CData のコネクティビティを利用して以下のことを実現しています。

ランタイムバージョン 9.1 - 13.X 、およびPro またはClassic Databricks SQL バージョンに至るすべてのバージョンのDatabricks にアクセスできます。
あらゆるホスティングソリューションと互換性があるため、Databricks を希望する環境で利用できます。
個人用アクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法でセキュアな認証を行います。
Databricks ファイルシステム、Azure Blog Storage、AWS S3 Storage を使用してDatabricks にデータをアップロードします。

ユーザーの多くはCData のソリューションを使用して異なるシステムからDatabricks データレイクハウスにデータを移行していますが、CData のリアルタイム接続ソリューションを使ってデータベースとDatabricks 間の接続をフェデレートしているケースもあります。このようなケースでは、SQL Server のリンクサーバーやPolybase を使用して、既存のRDBM 内からDatabricks にリアルタイムアクセスしています。

Databricks の一般的な使用事例と、CData のソリューションがデータに関する問題の解決にどのように役立つのかについては、ブログをご覧ください：What is Databricks Used For? 6 Use Cases。

API Server の設定

次のステップに従い、セキュアな REST API サービスを立ち上げます

デプロイ

API Server はサーバー上で稼働します。Windows 版は、製品に組み込まれているスタンドアロンのサーバーかIIS に配置して稼働させることができます。Java 版では、Java servlet コンテナにAPI Server のWAR ファイルを配置します。デプロイの詳細は製品ヘルプを参照してください。API Server を Microsoft Azure、 Amazon EC2、Heroku にデプロイする方法はKB に記事があります。

Databricks への接続

API Server の管理コンソールで［設定］→［接続］から新しい接続を追加してDatabricks を追加します。

Databricks のアイコンがデフォルトのAPI Server の接続先にない場合には、API Server がJava 版の場合はJDBC Drivers、API Server がWindows 版の場合はADO.NET Data ProvidersからDatabricks ドライバーをAPI Server と同じマシンにインストールして、API Server を再起動します。

Databricks への接続に必要な認証情報を入力します。接続のテストを行い、接続を確認して、設定を保存します。

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。

Note：Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

Database：Databricks データベース名に設定。
Server：Databricks クラスターのサーバーのホスト名に設定。
HTTPPath：Databricks クラスターのHTTP パスに設定。
Token：個人用アクセストークンに設定（この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます）。

接続を確立後、［設定］→［リソース］の画面でテーブル一覧からREST API として公開するエンティティを選択します。

API Server のユーザー設定

［設定］→［ユーザー］からAPI にアクセスできるユーザーの認証設定を行います。API Server はトークンでの認証を行うことができます。 IP アドレスでAPI へのアクセスを制限することも可能です。デフォルトではローカルマシンからのアクセスのみが許可されています。SSL の設定も可能です。

オンプレミスDB やファイルからのAPI Server 使用（オプション）

オンプレミスRDB やExcel/CSV などのファイルのデータを使用する場合には、API Server のCloug Gateway / SSH ポートフォワーディングが便利です。是非、Cloud Gatway の設定方法記事を参考にしてください。

Monaca で作成したモバイルアプリでの Databricks のデータ取得

Monacaではクラウド上にあるIDEが用意されていますので、まずはアカウント作成します。そこからCData API Server のデータをMonaca アプリ使う設定を作成していきます。

ブラウザより Monaca のダッシュボードを開き、「新しいプロジェクトを作る」をクリックします。

まずはテンプレートの種類は、フレームワークテンプレートを選択します。

今回は JavaScript を選択します。

テンプレートは「Onsen UI V2 JS Navigation」を選択します。テンプレの画面構成は、「Push page」ボタンをクリックすると、画面遷移するものとなっています。

任意のプロジェクト名を設定し、「作成」ボタンをクリックします。

作成したプロジェクトを選択した状態で、「クラウドIDEで開く」をクリックします。

検索ボタンがクリックされたら、先ほど作成した API を Ajax で呼び出すようにしています。

API Server で作成したエンドポイントをURL に設定し、ヘッダーにAPI Server のアクセストークンを設定します。
レスポンスが返ってきた後、処理が成功していればリストにname だけを1データずつ加えています。