Informatica Enterprise Data Catalog にHDFS のデータを追加

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for HDFS を利用することで、Informatica のEnterprise Data Catalog とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、どんな環境でもHDFS のデータを分類・整理する方法を説明します。

JDBC ドライバーをロード

以下はJDBC ドライバーをロードする方法です。

1. Informatica を実行しているホストにJDBC ドライバーをインストールします。この記事では、ドライバーがcdata.jdbc.hdfs.HDFS Driver にインストールされていることを前提としています。
$ java -jar setup.jar
2. JDBC インストールディレクトリに移動して、genericJDBC.zip と呼ばれ、ドライバーとそのライセンスファイルを含むzip ファイルを作成します。
$ cd ~/cdata-jdbc-driver-for-hdfs/lib $ zip genericJDBC.zip cdata.jdbc.hdfs.jar cdata.jdbc.hdfs.lic
3. genericJDBC.zip ファイルをInformatica 内のCatalog Service ディレクトリに移動します。この記事では、ドライバーが/opt/informatica にインストールされていることを前提としています。
このフォルダでの作業には、root 権限が必要になるおそれがあるため、続行する前にroot に必ずsu または sudo を実行してください。 # mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries
4. カスタムデプロイメント構成を編集し、zip ファイルを解凍します。
# cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/ # nano scannerDeployer.xml

既存のExecutionContextProperty ノードを解凍したら、このコンテンツを含む新しいExecutionContextProperty ノードを追加します。

<ExecutionContextProperty isLocationProperty="true" dependencyToUnpack="genericJDBC.zip"> <PropertyName>JDBCScanner_DriverLocation</PropertyName> <PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue> </ExecutionContextProperty>
5. アドミニストレーションコンソールから、Catalog Service を更新します。

JDBC リソースの構成

以下の手順でJDBC リソースを構成します。

1. Catalog のアドミニストレーターを開き、次のプロパティを持つ新しいJDBC リソースを追加します。
• Driver Class: cdata.jdbc.hdfs.HDFSDriver
• URL: jdbc.hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;

HDFS 接続プロパティの取得・設定方法

HDFS への認証には、次の接続プロパティを設定します。

• Host：HDFS インスタンスのホストに設定してください。
• Port: HDFS インスタンスのポートに設定してください。デフォルトのポートは"50070" です。

ビルトイン接続文字列デザイナ

JDBC URL の構成については、HDFS JDBC Driver に組み込まれている接続文字列デザイナを使用してください。.jar ファイルのダブルクリック、またはコマンドラインから.jar ファイルを実行します。

java -jar cdata.jdbc.hdfs.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

以下は、一般的な追加の接続文字列プロパティです。

JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.hdfs.HDFSDriver;URL={jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;};
2. ユーザー名: user
3. パスワード: password

使用しているドライバーに要求されなくても、ユーザー名とパスワードのプロパティは必須であることに注意してください。そのようなケースでは、代わりにプレスホルダー値を入力できます。

4. 少なくとも一つのソースメタデータスキャンを実行するようにメタデータオプションを構成します。このスキャンではドライバーを使用し、サービスを通じて使用できるテーブル、ビュー、ストアドプロシージャを判別します。
• Source Metadata: このオプションを有効にする。
• Catalog: これをマルチカタログデータソースの適切なカタログに設定します。もしくは、CData に設定します。
• Schema: これをマルチスキーマデータソースの適切なスキーマに設定します。もしくは、これをサービスの名前に設定します。（以下ではCouchbase）
• Case-sensitivity: 通常このオプションは無効にします。大文字と小文字が区別されるデータソースに対してのみ有効にしてください。
• Import stored procedures: テーブルとビューに加え、ストアドプロシージャディフィニションをインポートする場合は、これを有効にします。

他のメタデータスキャナーは、必要に応じて有効にすることができます。

5. ドライバーの構成を完了し、オプションでカスタム属性とスキャナースケジュールを構成します。
6. ［Monitoring］タブに移動し［Run］をクリックしてメタデータスキャンを実行します。データソースによっては、これに数分かかる場合があります。

スキャンが完了すると、すべてのメタデータオブジェクトの概要が［Metadata Load job］のステータスとともに表示されます。エラーが発生した場合、［Log Location］リンクを開き、インフォマティカまたはドライバーから報告されたエラーを確認できます。

検出されたメタデータを検証

［Catalog Service］を開き、データソースから検出されたメタデータを表示します。メタデータスキャナーの構成時に選択したオプションによっては、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示される場合があります。