製品をチェック

Azure Data Lake Storage Driver の30日間無償トライアルをダウンロード

 30日間の無償トライアルへ

製品の詳細

Azure Data Lake Storage アイコン Azure Data Lake Storage JDBC Driver 相談したい

Azure Data Lake Storage データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。

Informatica Enterprise Data Catalog にAzure Data Lake Storage データを追加

CData JDBC Driver をInformatica Enterprise Data Catalog とともに用いて、データを分類・整理します。

加藤龍彦
デジタルマーケティング

最終更新日:2021-11-02
azuredatalake ロゴ

CData

jdbc ロゴ画像
Informatica Enterprise Data Catalog ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for ADLS を利用することで、Informatica のEnterprise Data Catalog とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、どんな環境でもAzure Data Lake Storage データを分類・整理する方法を説明します。

JDBC ドライバーをロード

以下はJDBC ドライバーをロードする方法です。

  1. Informatica を実行しているホストにJDBC ドライバーをインストールします。この記事では、ドライバーがcdata.jdbc.adls.ADLS Driver にインストールされていることを前提としています。
  2. $ java -jar setup.jar
  3. JDBC インストールディレクトリに移動して、genericJDBC.zip と呼ばれ、ドライバーとそのライセンスファイルを含むzip ファイルを作成します。
  4. $ cd ~/cdata-jdbc-driver-for-adls/lib $ zip genericJDBC.zip cdata.jdbc.adls.jar cdata.jdbc.adls.lic
  5. genericJDBC.zip ファイルをInformatica 内のCatalog Service ディレクトリに移動します。この記事では、ドライバーが/opt/informatica にインストールされていることを前提としています。
  6. このフォルダでの作業には、root 権限が必要になるおそれがあるため、続行する前にroot に必ずsu または sudo を実行してください。 # mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries
  7. カスタムデプロイメント構成を編集し、zip ファイルを解凍します。
  8. # cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/ # nano scannerDeployer.xml

    既存のExecutionContextProperty ノードを解凍したら、このコンテンツを含む新しいExecutionContextProperty ノードを追加します。

    <ExecutionContextProperty isLocationProperty="true" dependencyToUnpack="genericJDBC.zip"> <PropertyName>JDBCScanner_DriverLocation</PropertyName> <PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue> </ExecutionContextProperty>
  9. アドミニストレーションコンソールから、Catalog Service を更新します。
  10. Refresh the Catalog Service from the Admin console.

JDBC リソースの構成

以下の手順でJDBC リソースを構成します。

  1. Catalog のアドミニストレーターを開き、次のプロパティを持つ新しいJDBC リソースを追加します。
    • Driver Class: cdata.jdbc.adls.ADLSDriver
    • URL: jdbc.adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH;
    • Azure Data Lake Storage 接続プロパティの取得・設定方法

      Azure Data Lake Storage Gen 2 への接続

      Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

      • Account:ストレージアカウントの名前。
      • FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
      • Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

      Azure Data Lake Storage Gen 2 への認証

      本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。

      アクセスキー

      アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

      Azure ポータルで:

      1. ADLS Gen2 ストレージアカウントにアクセスします。
      2. 設定でアクセスキーを選択します。
      3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
      4. 接続の準備ができたら、次のプロパティを設定します。

        • AuthSchemeAccessKey
        • AccessKey:先にAzure ポータルで取得したアクセスキーの値。

      共有アクセス署名(SAS)

      共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

      接続の準備ができたら、次のプロパティを設定します。

      • AuthSchemeSAS
      • SharedAccessSignature:先に生成した共有アクセス署名の値。

      AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

      ビルトイン接続文字列デザイナ

      JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。.jar ファイルのダブルクリック、またはコマンドラインから.jar ファイルを実行します。

      java -jar cdata.jdbc.adls.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      Using the built-in connection string designer to generate a JDBC URL (Salesforce is shown.)

      JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

    以下は、一般的な追加の接続文字列プロパティです。

    JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.adls.ADLSDriver;URL={jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;};
  2. ユーザー名: user
  3. パスワード: password
  4. 使用しているドライバーに要求されなくても、ユーザー名とパスワードのプロパティは必須であることに注意してください。そのようなケースでは、代わりにプレスホルダー値を入力できます。

    Add a new JDBC resource (Couchbase is shown).
  5. 少なくとも一つのソースメタデータスキャンを実行するようにメタデータオプションを構成します。このスキャンではドライバーを使用し、サービスを通じて使用できるテーブル、ビュー、ストアドプロシージャを判別します。
    • Source Metadata: このオプションを有効にする。
    • Catalog: これをマルチカタログデータソースの適切なカタログに設定します。もしくは、CData に設定します。
    • Schema: これをマルチスキーマデータソースの適切なスキーマに設定します。もしくは、これをサービスの名前に設定します。(以下ではCouchbase)
    • Case-sensitivity: 通常このオプションは無効にします。大文字と小文字が区別されるデータソースに対してのみ有効にしてください。
    • Import stored procedures: テーブルとビューに加え、ストアドプロシージャディフィニションをインポートする場合は、これを有効にします。
    Configure the source metadata settings (Couchbase is shown).

    他のメタデータスキャナーは、必要に応じて有効にすることができます。

  6. ドライバーの構成を完了し、オプションでカスタム属性とスキャナースケジュールを構成します。
  7. Monitoring]タブに移動し[Run]をクリックしてメタデータスキャンを実行します。データソースによっては、これに数分かかる場合があります。

スキャンが完了すると、すべてのメタデータオブジェクトの概要が[Metadata Load job]のステータスとともに表示されます。エラーが発生した場合、[Log Location]リンクを開き、インフォマティカまたはドライバーから報告されたエラーを確認できます。

Perform a metadata scan (Couchbase is shown).

検出されたメタデータを検証

Catalog Service]を開き、データソースから検出されたメタデータを表示します。メタデータスキャナーの構成時に選択したオプションによっては、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示される場合があります。

Validate the discovered metadata (Couchbase is shown).

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。