ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →こんにちは!リードエンジニアの杉本です。
Choreo は、ローコードおよびクラウドネイティブなSaaS 開発のための多機能かつ包括的なプラットフォームです。 開発者は、高度なコーディングスキルがなくても、Choreo のローコード環境を利用することで簡単にアプリケーションを構築することができます。 さらにCData Connect Server と連携することで、アプリケーションにAzure Data Lake Storage データへのクラウドベースのアクセスを即座に追加できます。 この記事では、Connect Server からAzure Data Lake Storage に接続し、Choreo からリアルタイムAzure Data Lake Storage データにアクセスするアプリケーションを作成する方法を紹介します。
CData Connect Server は、Azure Data Lake Storage にクラウドベースのインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなくChoreo でリアルタイムAzure Data Lake Storage データを使用するアプリケーションを構築できるようにします。 CData Connect Server は最適化されたデータ処理により、サポートされているすべてのSQL 操作(フィルタ、JOIN など)をAzure Data Lake Storage に直接発行し、サーバー側の処理を利用して要求されたAzure Data Lake Storage データを高速で返します。
Choreo からCData Connect Server に接続するには、利用するConnect Server インスタンスをネットワーク経由での接続が可能なサーバーにホスティングして、URL での接続を設定する必要があります。CData Connect がローカルでホスティングされており、localhost アドレス(localhost:8080 など)またはローカルネットワークのIP アドレス(192.168.1.x など)からしか接続できない場合、Choreo はCData Connect Server に接続することができません。
クラウドホスティングでの利用をご希望の方は、AWS Marketplace やGCP Marketplace で設定済みのインスタンスを提供しています。
CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。
Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 1 は、認証方法としてAzure Active Directory OAuth(AzureAD)およびマネージドサービスID(AzureMSI)をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。
Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 2は、認証方法としてアクセスキー、共有アクセス署名(SAS)、Azure Active Directory OAuth(AzureAD)、マネージドサービスID(AzureMSI)など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。
アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。
Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。
共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。
仮想データベースが作成されたら、Choreo を含むお好みのクライアントからAzure Data Lake Storage に接続できるようになります。
以下のステップでは、Choreo からCData Connect Server に接続し、リアルタイムAzure Data Lake Storage データにアクセスできる新しいアプリケーションを作成する方法を紹介します。
SELECT * FROM ADLS1.ADLS.Resources LIMIT 10
import ballerina/io;
check from record{} result in resultStream do { io:println("Full Resources details: ", result); };
import ballerinax/cdata.connect; import ballerinax/cdata.connect.driver as _; import ballerina/io; public function main() returns error? { connect:Client connectEp = check new (user = "connect_cloud_username", password="connect_cloud_pat"); stream<record {}, error=""?> resultStream = connectEp->query(sqlQuery = `SELECT * FROM ADLS1.ADLS.Resources LIMIT 10`); check from record{} result in resultStream do { io:println("Full Resources details: ", result); }; }
必要とするアクションをすべてプログラムに追加したら、次のステップに進みます。
Choreo でリアルタイムAzure Data Lake Storage データにアクセスできるアプリケーションを作成できました。
Choreo をCData Connect Server で連携するための詳細は、CData Connect Ballerina Guide を参照してください。 CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから100を超えるSaaS、ビッグデータ、NoSQL データソースへのダイレクトなSQL アクセスをお試しください!