各製品の資料を入手。
詳細はこちら →CData
こんにちは!リードエンジニアの杉本です。
TranSpeed はユーザックシステムが提供するノンプログラミングデータ変換ツールです。豊富な変換ロジックと様々なRDB、CSVファイルなどに対応しているのが特徴で、RPAツール Autoジョブ名人のデータ変換機能としても利用されています。本記事では、TranSpeed からCData ODBC ドライバを利用してAzure Data Lake Storage データを取得、CSV ファイルに出力する方法を解説します。
TranSpeed ではRDB の取り込み設定という仕組みが標準提供されており、この機能を介してSQL Server やMySQL などにアクセスできるようになっています。そして、この機能とCData が提供しているODBC Driver ラインナップを組み合わせることで、各種クラウドサービスのAPI にアクセスすることができるようになります。
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
CData ODBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.TranSpeed 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
まずは、本記事右側のサイドバーからADLS ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
インストール後、ODBC DSN(データソース名)で接続プロパティを設定します。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および設定できます。
Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。
本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。
Azure ポータルで:
接続の準備ができたら、次のプロパティを設定します。
共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。
接続の準備ができたら、次のプロパティを設定します。
AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。
CData Driver の設定が完了したらTranSpeed 側の設定を進めます。まずはCData ODBC ドライバ経由でAzure Data Lake Storage へ接続するための「データベース接続定義」を追加しましょう。
プロパティ名 |
設定値例 |
備考 |
接続名 |
Azure Data Lake Storage |
任意の接続名を指定します。 |
データベースエンジン種別 |
その他 |
|
接続方法 |
Odbc |
|
データベース名 |
Azure Data Lake Storage |
|
接続文字列 |
DSN=CData ADLS Source |
先程作成したODBC DSNの名前をDSN=以降に指定します。 |
ODBC の接続設定を追加したら、実際にデータ変換を行うアプリケーションを作成していきましょう。マッピング設定の画面から「システム」を選択し、「新規」ボタンをクリックします。
新しく作成するデータ変換アプリケーションの内容が表示されます。今回はそのままデフォルトで作成を開始します。必要に応じて各種名称を表示すると良いでしょう。
アプリケーション定義画面が表示されたら、まず「入力データソース」を調整していきます。今回はAzure Data Lake Storage からデータを取得するので、入力データソースのデータ種別で「データベース」を選択します。データベースを選択後、データベース接続IDとして先程作成したAzure Data Lake Storage への接続情報を指定します。
接続情報の指定が完了したら、対象となるテーブルを指定しましょう(Azure Data Lake Storage のResources など)。テーブル名を入力すると、各項目の「検索」ボタンから対象のフィールドを指定できるようになりますので、お好みのフィールドを選択してください。
続いて出力データソースを設定します。今回はシンプルにCSVに出力する処理とするため、データ種別で「CSVテキスト」を選択しました
入力データソースと出力データソースの指定完了後、それぞれのデータソースの仲介の役割となる項目定義を追加します。
最後に「入力データソース」「項目定義」「出力データソース」それぞれの項目を紐づける「入出力マッピング」を構成します。以下のような画面が表示されるので、それぞれの項目を紐づけていきましょう。
これでデータ変換アプリケーションは作成完了です。
それでは作成したデータ変換アプリケーションをテスト実行してみましょう。画面左上の「テスト実行」ボタンから動作確認が実施できます。以下のような画面が表示されるので「実行」をクリックします。
正常に処理が完了すると、以下のように処理件数と完了のメッセージが表示されます。
CSVファイルを確認すると、Azure Data Lake Storage のデータをもとにしたCSV ファイルが生成されています。
このようにCData ODBC ドライバを利用することで、各種クラウドサービスをTranSpeed の接続先として利用できるようになります。また、今回は入力データソースとして利用しましたが、出力データソースとしても対応可能になっています。 CData ではAzure Data Lake Storage 以外にも250種類以上のデータソース向けにODBC Driver を提供しています。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
日本のユーザー向けにCData ODBC ドライバは、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。