CData Sync を使って変更データキャプチャ（CDC）でPostgreSQL のデータをMySQL にレプリケートする方法

CData Sync Data Connectivity, データ連携 PostgreSQL MySQL CDC

by 對馬陽子 | 2022年09月12日

こんにちは。マーケティング担当の對馬です。

今回はPostgreSQL のデータをMySQL にレプリケートする処理を、CData Sync を使って構築する方法をご紹介します。CData Sync はPostgreSQL の変更データキャプチャ（CDC機能）に対応しているので、CDC 機能でのレプリケーションの設定方法をご紹介します。

CData Sync とは

CData Sync はデータパイプラインツールで、ノーコードで扱うことができます。400+ のデータソースに対応しており、主要DB / DWH にデータをレプリケートします。

変更差分のデータを記録するPostgreSQL の機能です。CData Sync ではPostgreSQL のログを参照して変更データを確認するため、DB に負担を与えることなく差分データをPostgreSQL から取得しレプリケーション処理を実行します。

PostgreSQL に格納している商談データを、CDC 機能を使ってMySQL にレプリケートする処理をCData Sync を使って構築します。

利用するPostgreSQL のデータ（Opportunity テーブル）

PostgreSQL のCDC 設定内容を確認し、設定します。

現在の設定内容を確認します。

PostgreSQL を開き、以下のクエリを実行します。

SELECT name, setting FROM pg_settings WHERE name='wal_level';

デフォルトでは、wal_level がreplica になっています。Logical Decoding を利用するため、レベルをlogical に変更します。

wal_level の設定変更は、設定ファイルを直接修正します。PostgreSQL インストールディレクトリから、postgresql.conf ファイルを開きます。

ディレクトリ例：C:\Program Files\PostgreSQL\14\data\postgresql.conf

wal_level = replica をlogical に変更し、有効にします。

修正後はPostgreSQL の再起動をし、PostgreSQL でwal_level が変更されているか確認します。

レプリケーションスロットを使って、Logical Decoding で変更情報をキャプチャするための設定をします。

以下クエリを実行することで設定できます。

SELECT * FROM pg_create_logical_replication_slot('cdatasync_replication_slot', 'test_decoding');

pg_create_logical_replication_slot 関数の引数は下記のとおりです。

以上で、PostgreSQL でのCDC 設定は完了です。

※ハンズオンでは不要※

CData Sync でPostgreSQL のデータを取得するため、接続を構築します。

CData Sync を起動し、「接続」タブを開きます。

「接続の追加」よりCData Sync からの接続を追加します。「PostgreSQL」アイコンを選択します。

PostgreSQL の接続設定画面が開かれます。

接続の名前は「PostgreSQL」などわかりやすいもので設定します。

今回はパスワードでの認証で接続するため、Auth Scheme でPassword を選択し必要な情報を入力します。入力が終わりましたら、「接続テスト」ボタンで接続を確認します。接続が確認できたら、「変更を保存」ボタンで設定内容を保存します。

CData Sync からのMySQL への接続を設定します。「接続」タブを開き、「接続の追加」の「同期先」から「MySQL」アイコンを選択します。

MySQL 接続設定画面が開かれます。

「MySQL」などわかりやすい名前を設定します。接続に必要な情報を入力し、「接続テスト」ボタンで接続を確認します。

接続成功のメッセージを確認し、「変更を保存」ボタンで設定内容を保存します。

作成したPostgreSQLとMySQL の接続設定を使い、データレプリケーションのジョブを作成します。

「ジョブ」タブを開き、「ジョブを作成」ボタンを押下します。

ジョブ作成画面が開かれます。

以下を設定します。