各製品の資料を入手。
詳細はこちら →Amazon S3 ODBC Driver の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
Amazon S3 ODBC Driver
相談したい
Amazon S3 ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからAmzaon S3 クラウドストレージにデータ連携。
Amazon S3 にデータベースのようにアクセス - オブジェクト、バケットにODBC インターフェースで接続。
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
SQL Serverにある既存テーブルの更新された値を、Amazon S3 に自動的に取り込んでいきます。構成は、Amazon S3 とSQL Server の間にSQL Gateway を配置し、SQL Gateway からデータソースへのアクセスはHTTP リクエスト、SQL Gateway からクライアントへはTDS プロトコル（SQL Server）でアクセスできるようにします。
SQL Gateway を使うことで、SQLServer のリンクサーバー経由やMySQL へ接続できるツール、サービスなどからもSaaS にアクセスすることが可能になります。もちろん参照だけでなく更新も可能です。
やることは大枠でこちらの内容です。
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
CData ODBC ドライバでは、1.データソースとしてAmazon S3 の接続を設定、2.SQL Server 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
まずは、本記事右側のサイドバーからAmazonS3 ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
CData ODBC ドライバをインストールすると SQL Gateway もあわせてインストールされるようになっています。ではこちらのリンクからAmazon S3 をクリックして、インストーラーをダウンロードします。ダウンロードボタンをクリックしてAmazon S3
ODBC Driver
をダウンロードします。
ダウンロードしたAmazon S3ODBCDriver.exe をダブルクリックしてインストールを開始します。
インストール自体はデフォルトのまま進んで構いません。インストール後にDSN 設定画面が開きます。
Microsoft ODBC データソースアドミニストレーターで必要なプロパティを設定する方法は、ヘルプドキュメントの「はじめに」をご参照ください。
Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。
Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。
尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。
IAM ユーザーの資格情報を取得するには：
AWS ルートアカウントの資格情報を取得するには：
多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。
（すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。
SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。
ここまでで、CData Amazon S3 ODBC Driver の設定が完了しました。続いてはSQL Gateway の設定に入っていきます。
Windows メニューにある SQL Gateway クリックして起動します。
SQL Gateway が起動されたらこのようなコンソール画面が表示されます。最初に「サービス」タブから追加ボタンをクリックします。
以下の内容で設定します。
外部からこの SQL Gateway にアクセスする際のユーザー情報を作成します。
作成後は「変更を保存」→「開始」の順でボタンをクリックします。サービスが正常に開始されると、このように緑色のランプが点灯します。
これで データソースからSQL Gateway 間の接続設定と、TDS プロトコルでのインタフェース設定が完了しました。
次にSQL Server とSQL Gateway をつなぐために、リンクサーバーを作成していきます。
SSMS で対象の SQL Server に接続し、「サーバーオブジェクト」->「リンクサーバー」から右クリックでリンクサーバーの新規作成を行います。
セキュリティに移動して、SQL Gateway
で作成したユーザー情報を入力して設定は完了です。
これでAmazon S3 のオブジェクトがリンクサーバーにテーブルとして表示されるようになりました。
まずは CDC（Change Data Capture）
機能をオンにしていきます。ちなみにこの CDC
とは、各テーブルのデータの変更情報を保持してくれる機能です。
※CDC はStandard Edition 以上、もしくはDeveloper Edition
で利用可能です。
今回はこのCDC 機能を使って変更データを抽出し、Amazon S3 に連携していきます。
CDC 機能を利用するデータベースを指定して以下のSQL を実行します。
USE cdata;
GO
EXECUTE sys.sp_cdc_enable_db;
GO
CDC の対象とするテーブルを設定します。
EXEC sys.sp_cdc_enable_table
@source_schema = N'dbo',
@source_name = N'顧客データ_東北支店',
@role_name = N'cdc_role',
@supports_net_changes = 1
GO
各種パラメータの説明はMicrosoft の公式ドキュメントをご参照ください。上記以外にも設定できるようです。
これで対象 DB
のシステムテーブルに、変更情報を保持してくれるテーブルが表示されました。
何も変更していない状態では、dbo_顧客データ_東北支店_CT
テーブルのレコードはない状態です。
CDC 対象の顧客データ_東北支店
テーブルにあるメールアドレス列の値を変更してみます。
もう一度、dbo_顧客データ_東北支店_CT テーブルを参照すると変更前後のレコードが格納されました。ちなみに$operation=3 で更新前、4で更新後となります。
これで SQL Server で変更したデータを確認することが出来るようになりました！
シンプルに CDC テーブルの Name という項目だけを使用して、それをリンクサーバーの [Amazon S3].[顧客管理（営業支援パック）] テーブルに Insert、Delete、Update で連携するということをやってみます。
CREATE PROCEDURE Amazon S3SP
AS
BEGIN
SET ANSI_NULLS ON
SET ANSI_WARNINGS ON
--カーソルの値を取得する変数宣言
DECLARE @Id varchar(50)
DECLARE @email varchar(50)
DECLARE @Operation int
--カーソル定義
DECLARE CUR_1 CURSOR FOR
SELECT a.[RecordId], a.[メールアドレス],a.[__$operation]
FROM [cdata].[cdc].[dbo_顧客データ_東北支店_CT] AS a,
(SELECT[RecordId] , MAX([__$seqval]) AS seqval
FROM [cdata].[cdc].[dbo_顧客データ_東北支店_CT]
GROUP BY [RecordId]) AS b
WHERE a.[RecordId] = b.[RecordId]
AND a.[__$seqval] = b.seqval
--'3'は更新前レコード
AND a.[__$operation] <> '3'
--カーソルオープン
OPEN CUR_1;
FETCH NEXT FROM CUR_1
INTO @Id,@email,@Operation;
WHILE @@FETCH_STATUS = 0
BEGIN
-- 削除レコードの場合
IF @Operation = 1
BEGIN
DELETE FROM [AMAZON S3_GATEWAY].[CData Amazon S3 Sys].[Amazon S3].[顧客管理（営業支援パック）] WHERE
RecordId=@Id;
END
-- 新規レコードの場合
ELSE IF @Operation = 2
BEGIN
INSERT INTO [AMAZON S3_GATEWAY].[CData Amazon S3 Sys].[Amazon S3].[顧客管理（営業支援パック）]
([メールアドレス])
Values(@email);
END
-- 更新レコードの場合
ELSE IF @Operation = 4
BEGIN
UPDATE [AMAZON S3_GATEWAY].[CData Amazon S3 Sys].[Amazon S3].[顧客管理（営業支援パック）] SET
[メールアドレス] =
@email
WHERE
RecordId=@Id;
END
--次のレコード
FETCH NEXT FROM CUR_1
INTO @Id,@email,@Operation;
END
--カーソルクローズ
CLOSE CUR_1;
DEALLOCATE CUR_1;
--CDC変更テーブルのレコード削除
Truncate table [cdc].[dbo_顧客データ_東北支店_CT]
END
最後にSQL Server
エージェントでストアドプロシージャのスケジュール実行を設定します。
ステップで新規作成から、先ほど作成したストアドプロシージャを実行するよう設定します。
実行タイミングを設定します。今回は夜中に毎日実行されるようスケジューリングしました。
設定後はこのように次にジョブが実行される時間やステータスなどが表示されています。
これで設定が完了しました！
以下は変更テーブルの中身です。赤枠内のレコードが
リンクサーバーを介してAmazon S3 に反映される想定です。
赤枠レコードの内訳は、
ではこれでAM 3:00に実行されるのを待ってみると、ジョブが実行されました。
リンクサーバーの[Amazon S3].[顧客管理（営業支援パック）]
テーブルを参照すると、先ほど確認したレコードが削除も含めて反映されていました。
これであとはこのまま起動しておくだけで、SQL Server で更新したレコードをもとにAmazon S3 が更新されるようになりました。
いかがでしたでしょうか。SQL Server の CDC 機能とストアドプロシージャ、リンクサーバーでAmazon S3 に自動連携できるようになりました。
CData ODBC Driver for AmazonS3 は 30日間の無償評価版がご利用可能です。こちらから をぜひお試しください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
