リアルタイムAzure Data Lake Storage データをkrewData 経由でkintone にノーコードで同期

こんにちは！リードエンジニアの杉本です。

この記事では、Azure Data Lake Storage のResources データをkintone に同期する方法を紹介します。グレープシティ社のkrewData というkintone プラグインとCData Connect Cloud を使うと、Azure Data Lake Storage をはじめとする100を超えるSaaS データをノーコードでkintone に取り込むことが可能です。

CData Connect Cloud とは？

CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。

• SaaS やクラウドデータベースを中心とする150種類以上のデータソース
• BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
• リアルタイムのデータ接続に対応。データの複製を作る必要はありません
• ノーコードでシンプルな設定

詳しくは、こちらの製品資料をご確認ください。

krewData とは？

krewData は、グレープシティ社が提供するkintone のプラグインで、kintone の複数のアプリ間やExcel・CSV ファイルとkintone のデータ統合をkintone 上で行うことができます。

CData Connect Cloud とは？

CData Connect Cloud は、2022年にCData が新たにリリースしたデータ仮想化プラットフォームです。Salesforce、kintone、Sharepoint、ServiceNow、PCA クラウド、スマレジなど多様なSaaS データにあらゆるツールからノーコードでのアクセスを実現します

今回は、CData Connect Cloud とkrewData を使って、Azure Data Lake Storage のResources データをkintone に同期します。

ちなみに、CData Connect Cloud を使えば、Azure Data Lake Storage 以外のクラウドデータをkintone に同期することも可能です。データ同士にキーとなる項目があれば、異なるデータソースのデータを統合してkintone にロードすることも可能です。

Connect Cloud からAzure Data Lake Storage に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Azure Data Lake Storage」を選択します。
3. 必要な認証プロパティを入力し、Azure Data Lake Storage に接続します。

   Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen 2 への接続

   Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前。
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

   Azure Data Lake Storage Gen 2 への認証

   本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

   アクセスキー

   アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルで：

   1. ADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定でアクセスキーを選択します。
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：AccessKey。
   • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：SAS。
   • SharedAccessSignature：先に生成した共有アクセス署名の値。

   AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

4. Create & Test をクリックします。
5. Edit Azure Data Lake Storage Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
2. User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

コネクションが構成されたら、kintone 上のkrewData プラグインからAzure Data Lake Storage に接続できるようになります。

krewData でAzure Data Lake Storage データをkintone に同期する

ここからは、kintone のプラグインであるkrewData での設定になります。

krewData の設定

krewData のプラグインインストールとkintone での設定については、こちらのリンクを参照してください。

kintone にkrewData プラグインを入れ、必要な権限設定を行ってください。

krewData の入力としてAzure Data Lake Storage を設定

ここからは、実際にAzure Data Lake Storage をkintone にロードするフローを作成していきます。krewData 自体は、複数データソースの統合、データのフィルタリング、集計処理など多様な機能を有するETL ですが、今回はシンプルにAzure Data Lake Storage のResources データをkintone のアプリに同期するフローを作成します。

1. kintone 画面でアプリにkrewData が表示されているので、これをクリックします。
2. krewData アプリ画面の右上の「⚙」をクリックし、「設定」を開きます。
3. 「設定」タブからプラグインをクリックします。これでkrewData のプラグイン操作画面に来ました。
4. 「＋データ編集フローを作成」の文字をクリックしてフローを作成します。作成されたフローが表示されますので、「⚙」マークをクリックしてフローを編集します。
5. フロー編集画面が開きます。通常のkrewData フローは「入力アプリ」ではじまり、間にいくつかの処理モジュールを入れた後に「出力アプリ」で閉じる形です。CData Connect Cloud を使う場合には、一番下の「外部連携」の「CData Connect Cloud入力」モジュールを使います。
   「CData Connect Cloud入力」を左ペインからドラッグして、フローキャンバスにドロップします。そこからコマンド設定を行っていきます。「アプリを選択」をクリックします。
6. 「＋新しい外部サービス情報アプリを作成する」をクリックして、アプリ名を入力してアプリを作成します。こちらはkrewData の連携で使われるアプリですので、通常のkintone アプリを設定することはできません。OK をクリックします。
7. 同じ入力コマンドで「サインイン」をクリックして、CData Connect Cloud にkrewData からサインインします。アカウント選択画面がでるので、「別のアカウントを追加」ボタンをクリックします。CData Connect Cloud アカウント設定画面が表示されるので、Connect Cloud への接続を行います。
   CData Connect Cloud アカウント：Connect Cloud のユーザー名
   Personal Access Token：前述のPAT 取得プロセスで取得したアクセストークン
   OK を押してConnect cloud に接続します。
8. 次に「データソースを選択」ボタンをクリックします。まずどのConnection を使うかを選択するので、先ほど作成したAzure Data Lake Storage のConnection をドロップダウンから選択します。
9. Azure Data Lake Storage のどのオブジェクト（テーブル）を使うかを選択します。CData Connect Cloud がAzure Data Lake Storage のオブジェクト（含むカスタムオブジェクト）をフラットなテーブル構造にモデル化しています。今回はResources を選択します。OK を押してテーブル選択を保存します。
10. ここでAzure Data Lake Storage からkrewData に取得するデータの絞り込み条件をかけることができます。特にデータ量が多い場合には、パフォーマンスを上げるためにフィルタ条件をかけることをおすすめします。krewData のGUI でフィルタリング条件をかけるカラムを指定し、条件を設定することが可能です。
11. 最後にkrewData で使用するフィールドを選択します。
12. テーブル設定、フィルタリング設定、フィールド設定まで終わったら「プレビュー」タブをクリックして、実際に取得されるデータを見ることができます。

kintone へのアウトプットを設定

kintone への出力を行う設定を行います。

1. 「出力アプリ」を左ペインからドラッグしてフローキャンバスにドロップします。先ほどのCData Connect Cloud入力アプリと出力アプリを線でつなぎます。
2. 「アプリを選択」ボタンをクリックして、入力アプリと同様に新しいアプリを作成します。
3. 出力アプリの設定として、２回目以降の同期の際のデータの更新の方法をしていします。今回はUPSERT 設定で更新または追加にチェックをいれています。
4. 更新キーをしていできるので、ID カラムにチェックを入れて更新キーにします。
5. これで出力アプリの設定が完了したので、左上の「アプリを更新」をクリックしてフローを保存します。

Azure Data Lake Storage Resources のkintone への同期フローを実行

では、実際にフローを実行していきます。

まずはユーザー情報を指定する必要があります。左上の「設定ファイル」タブをクリックします。kintone のログイン名とパスワードを入力します。セキュアアクセスを使っている場合にはセキュアアクセス設定が必要です。

右上の「▶実行」ボタンをクリックして、フローを実行しましょう！！！
「成功」の表示がでました。

実際にkintone 上で出力アプリとして設定したアプリを開いてみます。ちゃんとAzure Data Lake Storage Resources 情報がkintone アプリのレコードとして同期されていました。

まとめ

いかがでしたか？このようにCData Connect Cloud とkrewData を使って、簡単にAzure Data Lake Storage のResources データをkintone にノーコードで同期することができました。

是非、CData Connect Cloud で他の100を超えるデータソースでもkintone への同期をお試しください。