Amazon Athena のデータにSQL Server のリンクサーバーとして接続する方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している兵藤です。

本記事では、SQL Server のTDS Remoting 機能を使ってAmazon Athena のリンクサーバーをセットアップする方法をご紹介します。リンクサーバーの利用には、CData ODBC ドライバに同梱されているSQL Gateway を使用します。 SQL Server のインターフェースでAmazon Athena への読み書き双方向のアクセスが可能になります。

Amazon Athena リンクサーバー利用シナリオ

• SQL Server に接続しているアプリケーションでAmazon Athena のデータを利用したいがデータ接続を増やしたくない
• Amazon Athena のデータをSQL Server のデータや他のリンクサーバーのデータをJOIN などして使いたい
• 利用したいミドルウェア・BI ツールなどにODBC やJDBC の汎用のインターフェースがないが、SQL Server には接続できる

Amazon Athena DSN の設定

まずは、本記事右側のサイドバーからAmazonAthena ODBC Driver の無償トライアルをダウンロード・インストールしてください。ODBC ドライバーのインストール完了時にODBC DSN 設定画面が立ち上がります。または、Microsoft ODBC データソースアドミニストレーターを使ってDSN を作成および設定できます。

Amazon Athena 接続プロパティの取得・設定方法

Amazon Athena リクエストの認証には、アカウントの管理のクレデンシャルか、IAM ユーザーのカスタムPermission を設定します。 AccessKey にAccess Key Id、SecretKey にはSecret Access Key を設定します。

AWS アカウントアドミニストレータとしてアクセスできる場合でも、AWS サービスへの接続にはIAM ユーザークレデンシャルを使用することが推奨されます。

IAM ユーザーのクレデンシャル取得は以下のとおり：

1. IAM コンソールにログイン。
2. Navigation ペインで「ユーザー」を選択。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択。

AWS ルートアカウントのクレデンシャル取得は以下のとおり：

1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインイン。
2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択。
3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成。

EC2 インスタンスからの認証

EC2 インスタンスからCData 製品を使用していて、そのインスタンスにIAM ロールが割り当てられている場合は、認証にIAM ロールを使用できます。 これを行うには、UseEC2Roles をtrue に設定しAccessKey とSecretKey を空のままにします。 CData 製品は自動的にIAM ロールの認証情報を取得し、それらを使って認証します。

AWS ロールとして認証

多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。 代わりにRoleARN を指定してAWS ロールを使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。 （すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、役割を担うIAM ユーザーのAccessKeyと SecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey およびSecretKey を指定する場合、 ロールは使用できません。

MFA での認証

多要素認証を必要とするユーザーおよびロールには、MFASerialNumber およびMFAToken 接続プロパティを指定してください。 これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでMFA 認証情報を送信します。一時的な認証情報の有効期間 （デフォルトは3600秒）は、TemporaryTokenDuration プロパティを介して制御できます。

Amazon Athena への接続

AccessKey とSecretKey プロパティに加え、Database、S3StagingDirectory、Region を設定します。Region をAmazon Athena データがホストされているリージョンに設定します。S3StagingDirectory をクエリの結果を格納したいS3内のフォルダに設定します。

接続にDatabase が設定されていない場合は、CData 製品はAmazon Athena に設定されているデフォルトデータベースに接続します。

SQL Gateway でのAmazon Athena ODBC DSN を設定

CData ODBC ドライバにはSQL Gateway が同梱されています。このSQL Gateway に、Amazon Athena ODBC Driver をサービスとして設定します。

1. 「スタート」画面から「SQL Gateway」を起動します。青い「C」のSQL Gateway ロゴが右下のインジケータに表示されます。 アプリケーションコンソールが開かない場合には、SQL Gateway アイコンを右クリックして、「Open Application」をクリックしてください。
2. アプリケーションコンソールの「Service」タブを開いて、「Add」をクリックして、新しいODBC データソースを設定します。
3. Amazon Athena ODBC の設定を行います。
   Service Name]:任意
   リモーティングDB 選択:SQL Server を選択
   Data Source:ドロップダウンでCData Amazon Athena Source Sys を選択
   Port:使用していないポートを選択
   
4. 次に「Users」タブ→「Add」からユーザーを登録します。
   ユーザー毎にFull アクセスか、Readonly か、None の権限を選択できます。
   複数のODBC データソースがある場合には、データソース毎に権限の設定が可能です。
   
   「OK」を押して、ユーザー登録を完了します。 その後「Save Changes」で設定を保存します。
5. SQL Gateway の「Service」タブで「Start」ボタンを押して、サービスを起動します。サービスの左側の〇が緑色になれば、サービスは起動中です。

SQL Server でAmazon Athena リンクサーバーを設定

SQL Gateway 側でサービスの設定が終わったら、SQL Server 側でAmazon Athena サービスをリンクサーバーとして使う設定をしましょう。

1. SQL Server Management Studio (SSMS) を開きます。
   オブジェクトエクスプローラーの「サーバーオブジェクト」で「リンクサーバー」を右クリックして、「新しいリンクサーバー」をクリックします。
2. 新しいリンクサーバーの設定画面の「全般」で、以下を入力します。
   サーバー種類：その他データソース
   プロバイダー：SQL Server Native _Client 11.0
   データソース：この例の場合、localhost, 1433 を入力
   カタログ：ODBC DSN 名を入力
   
   
3. また、「セキュリティ」では、「このセキュリティコンテキスト」を選択して、リモートログインにSQL Gateway にユーザー設定したUser 名とPassword を入力します。

これで、リンクサーバーの設定は終わりなので、「OK」を押して設定を保存します。

SSMS でデータを見てみる

SSMS のオブジェクトエクスプローラーのリンクサーバー下にAmazon Athena のリンクサーバーが作成され、「テーブル」下にAmazon Athena のデータがアプリ単位でテーブルが生成されます。
新しいクエリを選択し、Amazon Athena のデータを取得してみます。

このように、API のリクエストではなく通常のSQL 構文でデータを扱うことが可能になっています

Visual Studio からAmazon Athena リンクサーバーを使う

Visual Studio のサーバーエクスプローラーの「データ接続」を右クリックし、「接続の追加」をクリックして、データソースの選択画面を開きます。 データソースの選択画面でデータソースを「Microsoft SQL Server 」に選択して、「続行」を押します。

「接続の追加」画面で、以下を入力します。
サーバー名:SQL Server のサーバー名
認証:任意の認証方式
データベース名の選択または入力:※master など
※リンクサーバーを直接データベース名として入力することはできないようです。なので上位のデータベース名で設定しておきます。

「テスト接続」をして大丈夫であれば、「OK」を押して設定を完了させます。

「新しいクエリ」で、SQL でSELECT 文を書いてデータを取得してみます。

このように、通常のSQL Server のリンクサーバーと同じようにVisual Studio 内Amazon Athena のデータを扱うことが可能になります。 他のIDE でもSQL Server にアクセスする方法でAmazon Athena のデータにSQL でアクセスが可能になります。
複数データソースのJOIN などを行う場合には大変便利です。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをSQL Server に連携できます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。