データ変換ツールTranSpeed でGoogle Data Catalog のデータにアクセスする方法

こんにちは！リードエンジニアの杉本です。

TranSpeed はユーザックシステムが提供するノンプログラミングデータ変換ツールです。豊富な変換ロジックと様々なRDB、CSVファイルなどに対応しているのが特徴で、RPAツール Autoジョブ名人のデータ変換機能としても利用されています。本記事では、TranSpeed からCData ODBC ドライバを利用してGoogle Data Catalog データを取得、CSV ファイルに出力する方法を解説します。

TranSpeed ではRDB の取り込み設定という仕組みが標準提供されており、この機能を介してSQL Server やMySQL などにアクセスできるようになっています。そして、この機能とCData が提供しているODBC Driver ラインナップを組み合わせることで、各種クラウドサービスのAPI にアクセスすることができるようになります。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Google Data Catalog をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにGoogle Data Catalog データを連携
3. ノーコードでの手軽な接続設定
4. 標準SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてGoogle Data Catalog の接続を設定、2.TranSpeed 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとGoogle Data Catalog への接続設定

まずは、本記事右側のサイドバーからGoogleDataCatalog ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

インストール後、ODBC DSN（データソース名）で接続プロパティを設定します。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および設定できます。

Google Data Catalog 接続プロパティの取得・設定方法

認証プロパティを追加する前に、次の接続プロパティを設定してください。

• OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
• ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

Google Data Catalog への認証

CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

Google Data Catalog データをTranSpeed に連携

CData Driver の設定が完了したらTranSpeed 側の設定を進めます。まずはCData ODBC ドライバ経由でGoogle Data Catalog へ接続するための「データベース接続定義」を追加しましょう。

1. TranSpeed を立ち上げて、「マッピング設定」に移動します。
2. 「データベース接続定義」に移動し「新規」ボタンをクリックします。表示される画面で「新たにデータベース接続定義を作成する」を選択し「OK」をクリック
3. 先程作成したODBC DSN の情報を指定した接続情報を入力します。入力後、接続テストを実行し、正常に完了したら登録ボタンをクリックして保存します。以下は接続情報の設定例です。
   

   プロパティ名	設定値例	備考
   接続名	Google Data Catalog	任意の接続名を指定します。
   データベースエンジン種別	その他
   接続方法	Odbc
   データベース名	Google Data Catalog
   接続文字列	DSN=CData GoogleDataCatalog Source	先程作成したODBC DSNの名前をDSN=以降に指定します。

   
   

   データ変換アプリケーションの作成

   ODBC の接続設定を追加したら、実際にデータ変換を行うアプリケーションを作成していきましょう。マッピング設定の画面から「システム」を選択し、「新規」ボタンをクリックします。

   新しく作成するデータ変換アプリケーションの内容が表示されます。今回はそのままデフォルトで作成を開始します。必要に応じて各種名称を表示すると良いでしょう。

   入力データソースの設定

   アプリケーション定義画面が表示されたら、まず「入力データソース」を調整していきます。今回はGoogle Data Catalog からデータを取得するので、入力データソースのデータ種別で「データベース」を選択します。データベースを選択後、データベース接続IDとして先程作成したGoogle Data Catalog への接続情報を指定します。

   接続情報の指定が完了したら、対象となるテーブルを指定しましょう（Google Data Catalog のSchemas など）。テーブル名を入力すると、各項目の「検索」ボタンから対象のフィールドを指定できるようになりますので、お好みのフィールドを選択してください。

   出力データソースの設定

   続いて出力データソースを設定します。今回はシンプルにCSVに出力する処理とするため、データ種別で「CSVテキスト」を選択しました

   項目定義の構成

   入力データソースと出力データソースの指定完了後、それぞれのデータソースの仲介の役割となる項目定義を追加します。

   入出力マッピングの構成

   最後に「入力データソース」「項目定義」「出力データソース」それぞれの項目を紐づける「入出力マッピング」を構成します。以下のような画面が表示されるので、それぞれの項目を紐づけていきましょう。

   これでデータ変換アプリケーションは作成完了です。

   テスト実行

   それでは作成したデータ変換アプリケーションをテスト実行してみましょう。画面左上の「テスト実行」ボタンから動作確認が実施できます。以下のような画面が表示されるので「実行」をクリックします。

   正常に処理が完了すると、以下のように処理件数と完了のメッセージが表示されます。

   CSVファイルを確認すると、Google Data Catalog のデータをもとにしたCSV ファイルが生成されています。

   おわりに

   このようにCData ODBC ドライバを利用することで、各種クラウドサービスをTranSpeed の接続先として利用できるようになります。また、今回は入力データソースとして利用しましたが、出力データソースとしても対応可能になっています。 CData ではGoogle Data Catalog 以外にも250種類以上のデータソース向けにODBC Driver を提供しています。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

   日本のユーザー向けにCData ODBC ドライバは、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。