Informatica Enterprise Data Catalog にAmazon Athena のデータを追加

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for AmazonAthena を利用することで、Informatica のEnterprise Data Catalog とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、どんな環境でもAmazon Athena のデータを分類・整理する方法を説明します。

JDBC ドライバーをロード

以下はJDBC ドライバーをロードする方法です。

1. Informatica を実行しているホストにJDBC ドライバーをインストールします。この記事では、ドライバーがcdata.jdbc.amazonathena.AmazonAthena Driver にインストールされていることを前提としています。
$ java -jar setup.jar
2. JDBC インストールディレクトリに移動して、genericJDBC.zip と呼ばれ、ドライバーとそのライセンスファイルを含むzip ファイルを作成します。
$ cd ~/cdata-jdbc-driver-for-amazonathena/lib $ zip genericJDBC.zip cdata.jdbc.amazonathena.jar cdata.jdbc.amazonathena.lic
3. genericJDBC.zip ファイルをInformatica 内のCatalog Service ディレクトリに移動します。この記事では、ドライバーが/opt/informatica にインストールされていることを前提としています。
このフォルダでの作業には、root 権限が必要になるおそれがあるため、続行する前にroot に必ずsu または sudo を実行してください。 # mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries
4. カスタムデプロイメント構成を編集し、zip ファイルを解凍します。
# cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/ # nano scannerDeployer.xml

既存のExecutionContextProperty ノードを解凍したら、このコンテンツを含む新しいExecutionContextProperty ノードを追加します。

<ExecutionContextProperty isLocationProperty="true" dependencyToUnpack="genericJDBC.zip"> <PropertyName>JDBCScanner_DriverLocation</PropertyName> <PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue> </ExecutionContextProperty>
5. アドミニストレーションコンソールから、Catalog Service を更新します。

JDBC リソースの構成

以下の手順でJDBC リソースを構成します。

1. Catalog のアドミニストレーターを開き、次のプロパティを持つ新しいJDBC リソースを追加します。
• Driver Class: cdata.jdbc.amazonathena.AmazonAthenaDriver
• URL: jdbc.amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';

Amazon Athena 接続プロパティの取得・設定方法

Amazon Athena リクエストの認証には、アカウントの管理のクレデンシャルか、IAM ユーザーのカスタムPermission を設定します。 AccessKey にAccess Key Id、SecretKey にはSecret Access Key を設定します。

AWS アカウントアドミニストレータとしてアクセスできる場合でも、AWS サービスへの接続にはIAM ユーザークレデンシャルを使用することが推奨されます。

IAM ユーザーのクレデンシャル取得は以下のとおり：

1. IAM コンソールにログイン。
2. Navigation ペインで「ユーザー」を選択。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択。

AWS ルートアカウントのクレデンシャル取得は以下のとおり：

1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインイン。
2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択。
3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成。

EC2 インスタンスからの認証

EC2 インスタンスからCData 製品を使用していて、そのインスタンスにIAM ロールが割り当てられている場合は、認証にIAM ロールを使用できます。 これを行うには、UseEC2Roles をtrue に設定しAccessKey とSecretKey を空のままにします。 CData 製品は自動的にIAM ロールの認証情報を取得し、それらを使って認証します。

AWS ロールとして認証

多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。 代わりにRoleARN を指定してAWS ロールを使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。 （すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、役割を担うIAM ユーザーのAccessKeyと SecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey およびSecretKey を指定する場合、 ロールは使用できません。

MFA での認証

多要素認証を必要とするユーザーおよびロールには、MFASerialNumber およびMFAToken 接続プロパティを指定してください。 これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでMFA 認証情報を送信します。一時的な認証情報の有効期間 （デフォルトは3600秒）は、TemporaryTokenDuration プロパティを介して制御できます。

Amazon Athena への接続

AccessKey とSecretKey プロパティに加え、Database、S3StagingDirectory、Region を設定します。Region をAmazon Athena データがホストされているリージョンに設定します。S3StagingDirectory をクエリの結果を格納したいS3内のフォルダに設定します。

接続にDatabase が設定されていない場合は、CData 製品はAmazon Athena に設定されているデフォルトデータベースに接続します。

ビルトイン接続文字列デザイナ

JDBC URL の構成については、Amazon Athena JDBC Driver に組み込まれている接続文字列デザイナを使用してください。.jar ファイルのダブルクリック、またはコマンドラインから.jar ファイルを実行します。

java -jar cdata.jdbc.amazonathena.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

以下は、一般的な追加の接続文字列プロパティです。

JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.amazonathena.AmazonAthenaDriver;URL={jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';};
2. ユーザー名: user
3. パスワード: password

使用しているドライバーに要求されなくても、ユーザー名とパスワードのプロパティは必須であることに注意してください。そのようなケースでは、代わりにプレスホルダー値を入力できます。

4. 少なくとも一つのソースメタデータスキャンを実行するようにメタデータオプションを構成します。このスキャンではドライバーを使用し、サービスを通じて使用できるテーブル、ビュー、ストアドプロシージャを判別します。
• Source Metadata: このオプションを有効にする。
• Catalog: これをマルチカタログデータソースの適切なカタログに設定します。もしくは、CData に設定します。
• Schema: これをマルチスキーマデータソースの適切なスキーマに設定します。もしくは、これをサービスの名前に設定します。（以下ではCouchbase）
• Case-sensitivity: 通常このオプションは無効にします。大文字と小文字が区別されるデータソースに対してのみ有効にしてください。
• Import stored procedures: テーブルとビューに加え、ストアドプロシージャディフィニションをインポートする場合は、これを有効にします。

他のメタデータスキャナーは、必要に応じて有効にすることができます。

5. ドライバーの構成を完了し、オプションでカスタム属性とスキャナースケジュールを構成します。
6. ［Monitoring］タブに移動し［Run］をクリックしてメタデータスキャンを実行します。データソースによっては、これに数分かかる場合があります。

スキャンが完了すると、すべてのメタデータオブジェクトの概要が［Metadata Load job］のステータスとともに表示されます。エラーが発生した場合、［Log Location］リンクを開き、インフォマティカまたはドライバーから報告されたエラーを確認できます。

検出されたメタデータを検証

［Catalog Service］を開き、データソースから検出されたメタデータを表示します。メタデータスキャナーの構成時に選択したオプションによっては、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示される場合があります。