製品をチェック

製品の詳細・30日間の無償トライアルはこちら

CData Connect

Choreo でGoogle Data Catalog とデータ連携するアプリを作成

CData Connect Server を使ってChoreo からGoogle Data Catalog に接続し、リアルタイムGoogle Data Catalog データと連携するカスタムアプリを構築します。

杉本和也
リードエンジニア

最終更新日:2022-11-20

こんにちは!リードエンジニアの杉本です。

Choreo は、ローコードおよびクラウドネイティブなSaaS 開発のための多機能かつ包括的なプラットフォームです。 開発者は、高度なコーディングスキルがなくても、Choreo のローコード環境を利用することで簡単にアプリケーションを構築することができます。 さらにCData Connect Server と連携することで、アプリケーションにGoogle Data Catalog データへのクラウドベースのアクセスを即座に追加できます。 この記事では、Connect Server からGoogle Data Catalog に接続し、Choreo からリアルタイムGoogle Data Catalog データにアクセスするアプリケーションを作成する方法を紹介します。

CData Connect Server は、Google Data Catalog にクラウドベースのインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなくChoreo でリアルタイムGoogle Data Catalog データを使用するアプリケーションを構築できるようにします。 CData Connect Server は最適化されたデータ処理により、サポートされているすべてのSQL 操作(フィルタ、JOIN など)をGoogle Data Catalog に直接発行し、サーバー側の処理を利用して要求されたGoogle Data Catalog データを高速で返します。

ホスティングについて

Choreo からCData Connect Server に接続するには、利用するConnect Server インスタンスをネットワーク経由での接続が可能なサーバーにホスティングして、URL での接続を設定する必要があります。CData Connect がローカルでホスティングされており、localhost アドレス(localhost:8080 など)またはローカルネットワークのIP アドレス(192.168.1.x など)からしか接続できない場合、Choreo はCData Connect Server に接続することができません。

クラウドホスティングでの利用をご希望の方は、AWS MarketplaceGCP Marketplace で設定済みのインスタンスを提供しています。


Google Data Catalog データの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

  1. Connect Server にログインし、「CONNECTIONS」をクリックします。 データベースを追加
  2. 一覧から「Google Data Catalog」を選択します。
  3. Google Data Catalog に接続するために必要な認証プロパティを入力します。

    Google Data Catalog 接続プロパティの取得・設定方法

    認証プロパティを追加する前に、次の接続プロパティを設定してください。

    • OrganizationId:接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
    • ProjectId:接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

    Google Data Catalog への認証

    CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

    OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

    コネクションを設定(Salesforce の場合)。
  4. Test Connection」をクリックします。
  5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Choreo を含むお好みのクライアントからGoogle Data Catalog に接続できるようになります。

Choreo からGoogle Data Catalog への接続

以下のステップでは、Choreo からCData Connect Server に接続し、リアルタイムGoogle Data Catalog データにアクセスできる新しいアプリケーションを作成する方法を紹介します。

コンストラクトを作成する

  1. Choreo プラットフォームにサインインします。Note:この記事は、Anonymously を選択した場合について説明しています。 Displaying Choreo landing page
  2. 左サイドバーからComponents を選択し、+Create をクリックします。次に、Manual Trigger を選択し、続けてStart from scratch を選択します。 Selecting manual trigger
  3. マニュアルトリガーのName とDescription を入力し、Create をクリックします。 Creating manual trigger
  4. トリガーが作成されたら、Edit Code をクリックします。 Clicking Edit Code
  5. Ballerina Low-Code IDE が表示されます。Choreo は、ローコードダイアグラムビューでコンストラクトを自動生成します。 このコンストラクトをハイライトしてゴミ箱アイコンをクリックし、削除します。 Showing Ballerina Low-Code IDE
  6. 画面上部の + アイコンをクリックし、右サイドのAdd Constructs ツールバーにあるMain を選択します。 続けてFunction Configuration フォームでSave をクリックします。 Adding a Construct

CData Connect Server コネクタを追加する

  1. 楕円形のSTART とEND の間にある + アイコンをクリックして、Connector をクリックします。
  2. Adding a Connector
  3. 右サイドバーのConnectors で「CData」を検索します。CData Connect をクリックしてConnector 設定ペインを開きます。
  4. Searching for CData Connector
  5. Connector 設定ペインで、構成の設定を入力します。
    • 使用するEndpoint Name を入力します。例では「connectEndpoint」を使用しています。
    • User フィールドに、CData Connect Server ユーザーのE メールアドレスを引用符で囲んで入力します(例:"[email protected]")。
    • Password フィールドにConnect Server のパスワードを引用符で囲んで入力します(例:"SampleToken")。
  6. Configuring an endpoint
  7. Save をクリックすると、CData Connect Server のロゴがついたローコードエディタが表示されます。
  8. Displaying the new CData connector

クエリのアクションを追加する

  1. newend の間の + アイコンをクリックし、Action を選択して既存のコネクタエンドポイントを選択します。
  2. Creating an Action
  3. connector Operation クエリを選択します。右側にAction ペインが表示されます。
  4. Showing Action pane
  5. Google Data Catalog データを取得するためのSQL クエリを、querysqlQuery パラメータとして入力します。次に例を示します。 SELECT * FROM GoogleDataCatalog1.GoogleDataCatalog.Schemas LIMIT 10
    • クエリを入力する際、カタログにConnection Name を、スキーマにData Source Name を必ず指定してください。例えば、GoogleDataCatalog1.GoogleDataCatalog です。
    • これらのパラメータはCData Connect Server のConnections ページに表示されます。

Google Data Catalog データを反復処理する

  1. コードエディタの右上にあるShow Source アイコンをクリックします。
  2. ballerina/io ライブラリをインポートするimport 文を追加します。
    		
    		import ballerina/io;
    	
  3. 次に、SQL クエリの結果を繰り返し処理するために、query アクションの後にfrom 文を追加します。
  4. 		
    		check from record{} result in resultStream
    		do {
    			io:println("Full Schemas details: ", result);
    		};
    	
  5. コンストラクトのコードは次のようになります。
  6. 			
    			import ballerinax/cdata.connect;
    			import ballerinax/cdata.connect.driver as _;
    			import ballerina/io;
    
    			public function main() returns error? {
    				connect:Client connectEp = check new (user = "connect_cloud_username", password="connect_cloud_pat");
    
    				stream<record {}, error=""?> resultStream =
    				connectEp->query(sqlQuery = `SELECT * FROM GoogleDataCatalog1.GoogleDataCatalog.Schemas LIMIT 10`);
    
    				check from record{} result in resultStream
    				do {
    					io:println("Full Schemas details: ", result);
    				};
    			}
    		
  7. Save をクリックしてアクションを保存します。次のようなダイアグラムになります。
  8. Displaying the new endpoint in Ballerina

プログラムをデプロイする

必要とするアクションをすべてプログラムに追加したら、次のステップに進みます。

  1. Web エディタで最終的なソースコードをコミットしてプッシュし、その変更をChoreo プラットフォームに同期します。
  2. Choreo Console の左ナビゲーションバーでDeploy をクリックします。
  3. Build Area でConfigure & Deploy をクリックし、プログラムをデプロイします。
  4. プロンプトが表示されたら、先ほど使用したCData Connect Server のユーザー名とパスワードを入力し、Deploy をクリックします。
  5. Deploying the program

Choreo でリアルタイムGoogle Data Catalog データにアクセスできるアプリケーションを作成できました。

CData Connect Server の入手

Choreo をCData Connect Server で連携するための詳細は、CData Connect Ballerina Guide を参照してください。 CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから100を超えるSaaS、ビッグデータ、NoSQL データソースへのダイレクトなSQL アクセスをお試しください!

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。