製品をチェック

CData Connect Cloud の詳細はこちら

  30日間無償トライアルへ

コラボフローでAzure Data Lake Storage データと連携したワークフローを作成

クラウドワークフローのコラボフローで、Azure Data Lake Storage データと連携したワークフローを作成

杉本和也
リードエンジニア

最終更新日:2022-10-26
azuredatalake ロゴ

CData

cloud ロゴ画像
Collaboflow ロゴ

こんにちは!リードエンジニアの杉本です。

コラボフロー(www.collabo-style.co.jp/ )は誰でも簡単に作れるクラウドベースのワークフローサービスです。さらにCData Connect Cloud と連携することで、Azure Data Lake Storage データへのクラウドベースのアクセスをノーコードで追加できます。本記事では、CData Connect Cloud 経由でコラボフローからAzure Data Lake Storage 連携を実現する方法を紹介します。

CData Connect Cloud はAzure Data Lake Storage データへのクラウドベースのOData インターフェースを提供し、コラボフローからAzure Data Lake Storage データへのリアルタイム連携を実現します。

Connect Cloud アカウントの取得

以下のステップを実行するには、CData Connect Cloud のアカウントが必要になります。こちらから製品の詳しい情報とアカウント作成、30日間無償トライアルのご利用を開始できますので、ぜひご利用ください。


Connect Cloud を構成

コラボフローでAzure Data Lake Storage データを操作するには、Connect Cloud からAzure Data Lake Storage に接続し、コネクションにユーザーアクセスを提供してAzure Data Lake Storage データのOData エンドポイントを作成する必要があります。

Azure Data Lake Storage に接続したら、目的のテーブルのOData エンドポイントを作成します。

(オプション)新しいConnect Cloud ユーザーの追加

必要であれば、Connect Cloud 経由でAzure Data Lake Storage に接続するユーザーを作成します。

  1. 「Users」ページに移動し、 Invite Users をクリックします。
  2. 新しいユーザーのE メールアドレスを入力して、 Send をクリックしてユーザーを招待します。 新しいユーザーを招待
  3. 「Users」ページからユーザーを確認および編集できます。 Connect Cloud ユーザー

パーソナルアクセストークン(PAT)の追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン(PAT)を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

  1. Connect Cloud アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
  2. 「User Profile」ページで「Access Token」セクションにスクロールし、 Create PAT をクリックします。
  3. PAT の名前を入力して Create をクリックします。 Creating a new PAT
  4. パーソナルアクセストークン(PAT)は作成時にしか表示されないため、必ずコピーして安全に保存してください。

Connect Cloud からAzure Data Lake Storage に接続

CData Connect Cloud では、簡単なクリック操作ベースのインターフェースでデータソースに接続できます。

  1. Connect Cloud にログインし、 Add Connection をクリックします。 コネクションの追加
  2. 「Add Connection」パネルから「Azure Data Lake Storage」を選択します。 データソースの選択
  3. 必要な認証プロパティを入力し、Azure Data Lake Storage に接続します。

    Azure Data Lake Storage 接続プロパティの取得・設定方法

    Azure Data Lake Storage Gen 2 への接続

    Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

    • Account:ストレージアカウントの名前。
    • FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
    • Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

    Azure Data Lake Storage Gen 2 への認証

    本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。

    アクセスキー

    アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

    Azure ポータルで:

    1. ADLS Gen2 ストレージアカウントにアクセスします。
    2. 設定でアクセスキーを選択します。
    3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
    4. 接続の準備ができたら、次のプロパティを設定します。

      • AuthSchemeAccessKey
      • AccessKey:先にAzure ポータルで取得したアクセスキーの値。

    共有アクセス署名(SAS)

    共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

    接続の準備ができたら、次のプロパティを設定します。

    • AuthSchemeSAS
    • SharedAccessSignature:先に生成した共有アクセス署名の値。

    AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

    接続の設定(Salesforce の表示)
  4. Create & Test をクリックします。
  5. 「Add Azure Data Lake Storage Connection」ページの「Permissions」タブに移動し、ユーザーベースのアクセス許可を更新します。 権限を更新

Connect Cloud にAzure Data Lake Storage OData エンドポイントを追加する

Azure Data Lake Storage に接続したら、目的のテーブルのOData エンドポイントを作成します。

  1. OData ページに移動し、 Add をクリックして新しいOData エンドポイントを作成します。
  2. Azure Data Lake Storage 接続(例:ADLS1)を選択し、Next をクリックします。
  3. 使用するテーブルを選択し、「Confirm」をクリックします。 テーブルを選択(Salesforce の例)

コネクションとOData エンドポイントを設定したら、コラボフローからAzure Data Lake Storage データに接続できます。

Azure Data Lake Storage データに接続したワークフローを作成

コラボフローからConnect Cloud に連携するためのJavaScript の準備

コラボフロー上で使用するConnect Cloud との接続用JavaScriptを準備します。

(function () { 'use strict'; // Setting Propeties const AutocompleteSetting = { // Autocomplete target field for Collaboflow InputName: 'fid0', // Collaboflow item detils line number ListRowNumber : 15, // Autocomplete tartget field for Connect Cloud ApiListupFiledColumn : 'adls_column', // Key Column Name for Connect Cloud resource ApiListupKeyColumn : 'adls_keycolumn', // Mapping between Collaboflow field and Connect Cloud column Mappings: [ { PartsName: 'fid1', // Collabo flow field name APIName: 'adls_column1' // Connect Cloud column name }, { PartsName: 'fid2', APIName: 'adls_column2' }, { PartsName: 'fid3', APIName: 'adls_column3' }, { PartsName: 'fid4', APIName: 'adls_column4' } ] }; const CDataConnectCloudSetting = { // Connect Cloud URL ConnectCloudUrl : 'http://XXXXXX', // Connect Cloud Resource Name ConnectCloudResourceName : 'adls_table', // Connect Cloud Key Headers : { Authorization: 'Basic YOUR_BASIC_AUTHENTICATION' }, // General Properties ParseType : 'json', get BaseUrl() { return CDataCloudServerSetting.ApiServerUrl + '/api.rsc/' + CDataCloudServerSetting.ApiServerResourceName } } let results = []; let records = []; // Set autocomplete processing for target input field collaboflow.events.on('request.input.show', function (data) { for (let index = 1; index < AutocompleteSetting.ListRowNumber; index++) { $('#' + AutocompleteSetting.InputName + '_' + index).autocomplete({ source: AutocompleteDelegete, autoFocus: true, delay: 500, minLength: 2 }); } }); // This function get details from Connect Cloud, Then set values at each input fields based on mappings object. collaboflow.events.on('request.input.' + AutocompleteSetting.InputName + '.change', function (eventData) { debugger; let tartgetParts = eventData.parts.tbl_1.value[eventData.row_index - 1]; let keyId = tartgetParts[AutocompleteSetting.InputName].value.split(':')[1\; let record = records.find(x => x[AutocompleteSetting.ApiListupKeyColumn] == keyId); if (!record) return; AutocompleteSetting.Mappings.forEach(x => tartgetParts[x.PartsName].value = ''); AutocompleteSetting.Mappings.forEach(x => tartgetParts[x.PartsName].value = record[x.APIName]); }); function AutocompleteDelegete(req, res) { let topParam = '&$top=10' let queryParam = '$filter=contains(' + AutocompleteSetting.ApiListupFiledColumn + ',\'' + encodeURIComponent(req.term) + '\')'; collaboflow.proxy.get( CDataCloudServerSetting.BaseUrl + '?' + queryParam + topParam, CDataCloudServerSetting.Headers, CDataCloudServerSetting.ParseType).then(function (response) { results = []; records = []; if (response.body.value.length == 0) { results.push('No Results') res(results); return; } records = response.body.value; records.forEach(x => results.push(x[AutocompleteSetting.ApiListupFiledColumn] + ':' + x[AutocompleteSetting.ApiListupKeyColumn])); res(results); }).catch(function (error) { alert(error); }); } })();
  • 「CDataConnectCloudSetting」のそれぞれのプロパティには構成したSSH Server のURL とConnect Cloud の認証情報をそれぞれ設定してください。
  • 「AutocompleteSetting」はどのフィールドでオートコンプリートを動作させるか? といった設定と、API のプロパティとのマッピングを行います。
  • 今回はコラボフローのデフォルトテンプレートで提供されている「12a.見積書・注文書」で利用しますので、デフォルトでは商品名のフィールドを、Product テーブルのName と紐付けて、Autocomplete を行うように構成しています。値が決定されたら、Key となるProductID を元に「型番、標準単価、仕入単価、御提供単価」をそれぞれAPI から取得した値で自動補完するようになっています。

コラボフロー側でJavaScript を登録

JavaScript を作成したら、後はコラボフローにアップするだけです。

  • コラボフローにログインし「アプリ設定」→「フォーム設定」に移動します。
  • CollaboFlow
  • フォーム一覧から使用するフォームを選択します。
  • CollaboFlow
  • フォーム編集画面に移動後、「カスタマイズ」タブをクリックし、ファイルをアップロードから作成したJSファイルをアップロードし、保存します。
  • CollaboFlow
  • これでConnect Cloud 経由でAzure Data Lake Storage データを取得し、自動入力補完する機能がコラボフローの申請フォームに追加できました。

クラウドアプリケーションからAzure Data Lake Storage データへのライブ接続

コラボフローからAzure Data Lake Storage リアルタイムデータに直接接続できるようになりました。これで、Azure Data Lake Storage データを複製せずにより多くの接続とアプリを作成できます。

クラウドアプリケーションから直接100を超えるSaaS 、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスを取得するには、CData Connect Cloud を参照してください。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。