こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Klipfolio は、チームやクライアント向けのリアルタイムダッシュボードを構築するための、オンラインダッシュボードプラットフォームです。CData Connect Cloud と組み合わせると、ビジュアライゼーションやレポート用にDatabricks のデータにクラウドベースでアクセスできます。この記事では、Connect Cloud でDatabricks に接続し、Klipfolio でDatabricks のデータからビジュアライゼーションを構築する方法を説明します。
CData Connect Cloud とは?
CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。
- SaaS やクラウドデータベースを中心とする150種類以上のデータソース
- BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
- リアルタイムのデータ接続に対応。データの複製を作る必要はありません
- ノーコードでシンプルな設定
詳しくは、こちらの製品資料をご確認ください。
Connect Cloud アカウントの取得
以下のステップを実行するには、CData Connect Cloud のアカウントが必要になります。こちらから製品の詳しい情報とアカウント作成、30日間無償トライアルのご利用を開始できますので、ぜひご利用ください。
Databricks とのデータ連携について
Databricks のライブデータへのアクセスと統合は、CData を活用することでかつてないほど簡単になります。ユーザーは、CData のコネクティビティを利用して以下のことを実現しています。
- ランタイムバージョン 9.1 - 13.X 、およびPro またはClassic Databricks SQL バージョンに至るすべてのバージョンのDatabricks にアクセスできます。
- あらゆるホスティングソリューションと互換性があるため、Databricks を希望する環境で利用できます。
- 個人用アクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法でセキュアな認証を行います。
- Databricks ファイルシステム、Azure Blog Storage、AWS S3 Storage を使用してDatabricks にデータをアップロードします。
ユーザーの多くはCData のソリューションを使用して異なるシステムからDatabricks データレイクハウスにデータを移行していますが、CData のリアルタイム接続ソリューションを使ってデータベースとDatabricks 間の接続をフェデレートしているケースもあります。このようなケースでは、SQL Server のリンクサーバーやPolybase を使用して、既存のRDBM 内からDatabricks にリアルタイムアクセスしています。
Databricks の一般的な使用事例と、CData のソリューションがデータに関する問題の解決にどのように役立つのかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases。
Connect Cloud からDatabricks に接続する
CData Connect Cloud は直感的なクリック操作ベースのインターフェースを使ってデータソースに接続します。
- Connect Cloud にログインし、 Add Connection をクリックします。
- Add Connection パネルから「Databricks」を選択します。
-
必要な認証プロパティを入力し、Databricks に接続します。
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。
Note:Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options
の下にあるJDBC/ODBC タブを選択することで見つけることができます。
- Database:Databricks データベース名に設定。
- Server:Databricks クラスターのサーバーのホスト名に設定。
- HTTPPath:Databricks クラスターのHTTP パスに設定。
- Token:個人用アクセストークンに設定(この値は、Databricks
インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます)。
- Create & Test をクリックします。
- Add Databricks Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。
パーソナルアクセストークンを追加する
OAuth 認証をサポートしないサービス、アプリケーション、プラットフォーム、フレームワークから接続する場合、パーソナルアクセストークン(Personal Access Token, PAT)を認証に使用できます。きめ細かくアクセスを管理するために、サービスごとに個別のPAT を作成するのがベストプラクティスです。
- Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
- User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
- PAT の名前を入力して Create をクリックします。
- パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。
コネクションが構成されたら、Klipfolio に接続できるようになります。
Klipfolio からDatabricks に接続する
以下のステップでは、Klipfolio からCData Connect Cloud に接続して新しいDatabricks のデータソースを作成する方法の概要を説明します。
- Klipfolio を開きます。
- Data Sources で をクリックして新しいデータソースを追加します。
- MSSQL をService として検索して選択します。
- 「Create a custom MSSQL data source」をクリックします。
- MSSQL 接続プロパティを設定してデータソースを構成します。
- Host:tds.cdata.com
- Port:14333
- Database: データベース (例 Databricks1)
- Driver:MS SQL
- Username:Connect Cloud ユーザー(例:[email protected])
- Password:上記のユーザーのPAT
- SQL Query:データを取得するためのクエリ(例:SELECT * FROM Customers)
- 「Include column headers」チェックボックスをオンにします。
- 「Use SSL/TLS」チェックボックスをオンにします。
- データモデルを構築する前に「Get data」をクリックしてDatabricks のデータをプレビューします。
データモデルを構築する
データを取得したら、「Model your data」チェックボックスを選択して「Continue」をクリックします。新しいウィンドウでデータモデルを構築します。
- 使用するすべてのカラムがモデルに含まれていることを確認します。
- モデルに名前を付けます。
- (オプション)Description を設定します。
- 「Header in row」を1に設定します。
- 「Exclude data before row」のトグルをクリックして値を2 に設定します。
- 「Save and Exit」をクリックします。
Metric を作成する
データがモデル化されたことで、ダッシュボードやレポートなどのKlipfolio プラットフォームで使用されるデータのMetric(またはビジュアライゼーション)を作成することができるようになりました。
- 「Create metrics」をクリックします。
- データソースを選択します。
- Metric の値とデフォルトの集計を選択します。
- セグメントを選択します。
- 日時を選択します。
- データのシェイプを選択します。
- 表示設定を構成します。
- Save をクリックします。
- Metric に移動し、ビジュアライゼーションをさらに設定します。
クラウドアプリケーションからDatabricks のデータへのSQL アクセス
これで、リアルタイムDatabricks のデータから作成されたMetric ができました。新しいダッシュボードに追加したり共有したりすることができます。これで、Databricks を複製することなくより多くのデータソースや新しいビジュアライゼーション、レポートを簡単に作成することができます。
クラウドアプリケーションから直接100を超えるSaaS 、ビッグデータ、NoSQL ソースへのSQL データアクセスを取得するには、CData Connect Cloud をお試しください。