SaaS 連携データベース Yoom を使ってAzure Data Lake Storage データを使ったフローボットを作成する

こんにちは！リードエンジニアの杉本です。

Yoom は さまざまなSaaS とノーコードで連携し、業務を自動化するSaaS 連携データベースです。この記事では、CData Connect Cloud を経由して Yoom からAzure Data Lake Storage に接続し、Azure Data Lake Storage データを利用したフローボットを作成する方法を紹介します。

CData Connect Cloud は、Azure Data Lake Storage データのクラウド to クラウドの仮想OData インターフェースを提供し、Yoom からリアルタイムにAzure Data Lake Storage データへ接続することができます。

CData Connect Cloud の設定

Yoom でAzure Data Lake Storage Azure Data Lake Storage データをリアルタイムで操作するには、Connect Cloud からAzure Data Lake Storage に接続し、コネクションにユーザーアクセスを提供してAzure Data Lake Storage データのOData エンドポイントを作成する必要があります。

Connect Cloud からAzure Data Lake Storage に接続

CData Connect Cloud では、簡単なクリック操作ベースのインターフェースでデータソースに接続できます。

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Azure Data Lake Storage」を選択します。
3. 必要な認証プロパティを入力し、Azure Data Lake Storage に接続します。

   Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen 2 への接続

   Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前。
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

   Azure Data Lake Storage Gen 2 への認証

   本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

   アクセスキー

   アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルで：

   1. ADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定でアクセスキーを選択します。
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：AccessKey。
   • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：SAS。
   • SharedAccessSignature：先に生成した共有アクセス署名の値。

   AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

4. Create & Test をクリックします。
5. Edit Azure Data Lake Storage Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

Connect Cloud にAzure Data Lake Storage OData エンドポイントを追加する

Azure Data Lake Storage に接続したら、目的のテーブルのOData エンドポイントを作成します。

1. OData ページに移動し、 Add to create new OData endpoints をクリックします。
2. Azure Data Lake Storage コネクション（例：ADLS1）を選択し、Next をクリックします。
3. 使用するテーブルを選択し、Confirm をクリックします。

パーソナルアクセストークン（PAT）の取得

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
2. User Profile ページで、Personal Access Tokens セクションまでスクロールし、Create PAT をクリックします。
3. PAT に名前を付け、Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

コネクションとOData エンドポイントが構成されたら、Yoom からAzure Data Lake Storage に接続できるようになります。

Yoom でフローボットを作成

Web API の準備が整ったので、Yoom にてフローボットの作成を進めていきます。

1. まず、Yoom にログインします。
2. フローボットを新規作成します。

ループ設定

フローボットのトリガー設定後、プロセスを作成します。まずはデータを複数行データベースに追加するため、ループ処理を設定します。ループを件数分実行するための一意のデータをAzure Data Lake Storage から取得します。

1. CData Connect Cloud コネクタを利用して、Azure Data Lake Storage データを取得します。＋ ボタンでプロセスを追加し、オペレーションタイプの選択から「アプリと連携する」を選択します。
2. アプリ一覧から「CData Connect」を選択します。
3. アカウント情報を登録します。アクセストークンに、Connect Cloud のアカウント（メールアドレス）とPAT をコロンで繋ぎ、Base64 エンコードしたものを設定します。
4. アクション選択では、「レコードの一覧を取得」を選択します。アクション設定画面では、Connect Cloud のOData で設定したテーブル名を設定します。アウトプットを追加し、データをリスト形式で取得する設定をします。JSONPath には「$.value[*].カラム名」を指定します。
5. データ取得設定を保存し、ループ処理（同じ処理を繰り返す）を追加します。

ループで利用したデータを元に他カラムのデータを取得

ループで利用した一意のデータをキーにして、Azure Data Lake Storage の他カラムのデータを取得します。

1. ループ分岐の右側のフローでアプリ連携のプロセスを追加し、「特定のレコードを取得」アクションを設定します。
2. プライマリーキーの値を設定します。「アウトプットを入力」から「ループ変数」を選択します。
3. アウトプットを設定します。入力形式はテキスト、JSONPath は「value[0].カラム名」を設定します。

Yoom データベースに追加

Yoom データベースに取得したデータを追加する処理を作成します。

1. オペレーションタイプの選択から「データベースを操作する」を選択し、データベース一覧からYoom データベースを選択します。
2. データベースとテーブルを指定し、実行アクションで「レコードを追加する」を選択します。
3. データ取得時に設定したアウトプットを、データベースのカラムに設定します。

フローボットの完成

Azure Data Lake Storage データをYoom データベースに追加するフローボットが完成しました。

1. フローボットを実行し、Yoom データベースにAzure Data Lake Storage データが追加されることを確認します。

このように、CData Connect Cloud を経由することで、API 側の複雑な仕様を意識せずにSaaS と連携したフローボットをYoom で作成できます。。他にも多くのデータソースに対応するCData Connect Cloud の詳細をこちらからご覧ください。