Hive ODBC データソースとの間にInformatica マッピングを作成

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

Informatica はデータを転送、変換するための強力で洗練された手段です。CData ODBC Driver for ApacheHive は、Informatica の強力なデータ転送・変換機能とシームレスに連携可能な、業界で実証済みの標準ドライバです。このチュートリアルでは、Informatica PowerCenter でHive のデータを転送および参照する方法を説明します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Hive をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにHive のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてHive の接続を設定、2.Informatica 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとHive への接続設定

まずは、本記事右側のサイドバーからApacheHive ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Hive への接続に関する情報と、Windows およびLinux 環境でのDSN の設定手順を以下で説明します。

Apache Hive への接続を確立するには以下を指定します。

• Server：HiveServer2 をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：HiveServer2 インスタンスへの接続用のポートに設定。
• TransportMode：Hive サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
• CData 製品においてTLS/SSL を有効化するには、UseSSL をTrue に設定します

Windows

接続プロパティが未設定の場合は、まずODBC DSN（データソース名）で設定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。

Linux

CData ODBC Driver for ApacheHive をLinux 環境にインストールする場合、ドライバーのインストールによってDSN が事前に定義されます。DSN を変更するには、システムデータソースファイル（/etc/odbc.ini）を編集し、必要な接続プロパティを定義します。

/etc/odbc.ini

これらの構成ファイルの使用方法については、オンラインのヘルプドキュメントを参照してください。

Customers データへのリンクテーブルを作成する

「オブジェクトエクスプローラー」からリンクテーブルを作成してライブCustomers データにアクセスする方法は、次のとおりです。

ODBC 接続を作成する

下記の手順に従って、Informatica PowerCenter のHive に接続します。

1. Informatica Developer ツールで、リポジトリに接続してプロジェクトを作成しておきます。
2. 「Connection Explorer」ペインで右クリックし、「Create a Connection」をクリックします。
3. 「New Database Connection」ウィザードが表示されたら、接続に名前とID を入力し、「Type」メニューで「ODBC」を選択します。
4. 「Connection String」プロパティにjdbc:apachehive:Server=127.0.0.1;Port=10000;TransportMode=BINARY; を入力します。

注意：Linux オペレーティングシステムで作業している場合は、「Driver Manager for Linux」プロパティをunixODBC 2.3.x に設定します。

Hive のデータオブジェクトを作成する

Hive へのODBC 接続を作成したら、Informatica でHive エンティティにアクセスできるようになります。下記の手順に従って、Customers エンティティをプロジェクトに追加します。

1. 「Object Explorer」でプロジェクトを右クリックし、「New」->「Data Object」をクリックします。
2. ウィザードが表示されたら「Relational Data Object」オプションを選択します。
3. 「Connection」ボックス横にある「Browse」ボタンをクリックし、先に作成したODBC 接続を選択します。
4. 既存のリソースからデータオブジェクトを作成するオプションを選択し、「Resource」ボックス横にある「Browse」ボタンをクリックします。
5. ダイアログが表示されたら、「Show Default Schema Only」オプションの選択を解除してODBC 接続のノードを展開します。必要なエンティティを選択します。

これで、Data Viewer でテーブルをブラウズできます。テーブル用ノードを右クリックし「Open」をクリックします。「Data Viewer」ビューで「Run」をクリックします。

マッピングを作成する

下記の手順に従って、Hive ソースをマッピングに追加します。

1. 「Object Explorer」でプロジェクトを右クリックし、「New」->「Mapping」をクリックします。
2. Hive 接続のノードを展開してから、テーブル用のデータオブジェクトをエディタ上にドラッグします。
3. ダイアログが表示されたら「Read」オプションを選択します。

以下のステップに従って、Hive カラムをフラットファイルにマッピングします。

1. 「Object Explorer」でプロジェクトを右クリックし、「New」->「Data Object」をクリックします。
2. 「Flat File Data Object」->「Create as Empty」->「Fixed Width」と選択します。
3. Hive オブジェクトのプロパティで目的の行を選択して右クリックし、コピーします。コピーした行をフラットファイルプロパティにペーストします。
4. フラットファイルのデータオブジェクトをマッピングにドラッグします。ダイアログが表示されたら「Write」オプションを選択します。
5. クリックおよびドラッグしてカラムを接続します。

Hive のデータを転送するには、ワークスペース内で右クリックして「Run Mapping」をクリックします。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。