CData Sync V22 新機能：History Mode の使い方

CData Sync v22 MySQL SQL Server Oracle Snowflake Databricks Redshift PostgreSQL

by 杉本和也 | 2022年09月27日

こんにちは。CData Software Japan リードエンジニアの杉本です。

今回は CData Sync V22 の新機能であるHistory Mode の使い方を解説します。

History Mode とは？

CData Sync では特徴的な機能の一つとして差分更新が存在します。

これはもとのデータソースから更新されたデータだけを抽出し、そのデータのみを対象としてデータベースやDWH 上の値を更新する機能す。

https://www.cdata.com/jp/sync/#features

これにより常に必要なデータのみをデータベースやDWH で更新でき、効率的にデータ分析基盤の管理が行なえます。

しかしながら、場合によってはそのデータがどのように更新されたのか？　をトラッキングしたい場合があります。

例えばよく相談があるトピックとしては、Salesforce の商談データを分析する時に、受注確度や受注金額がどのように変わったのか？を可視化、追跡したい、というものです。

通常CData Sync でレプリケーションされたDWHやデータベース上のデータは最新の値しか保持しません。そのため「今の商談確度」はわかっても、「過去どのような商談確度の変化があったのか？」みたいな情報はわかりません。

「先月は受注予測金額が良い感じだったのに、なぜか今月は受注予測金額が少ない、受注確度が下がっている気がする」というのは営業チームではよくある話ではないでしょうか。

CData Sync V22 ではこのようなデータの変化をウォッチすることができるように、History Mode という機能が追加されました。

https://cdn.cdata.com/help/ASG/jp/sync/Features.html

これによりレプリケーションタイミングで変化があったデータは過去のデータを残しつつ、新しいデータが積み上がるようになっています。

以下は実際にHistory Mode を有効化してレプリケーションした結果です。

History Modeを有効化すると「_cdatasync_active,_cdatasync_start,_cdatasync_end」という3つのカラムが追加されて、どのデータがアクティブな最新データか？　いつ更新されたのか？　最初にレプリケーションされたのはいつか？　がわかるようになります。

これにより、「Edge Emergency Generator」のデータの受注確度（Probability）が「60」から「80」に変わっていることがわかります。

それでは実際にHistory Mode を試してみましょう。

History Mode を利用するための条件

History Mode を利用するためにはいくつか条件が存在します。Help の引用では以下の通りになりますが、基本的には「差分チェックが可能なデータソースであること」そして、「既存のテーブルにはマッピングできないこと」を念頭に置いておくと良いでしょう。

・ソーステーブルは差分チェックカラムをサポートしている必要があります。
・差分チェックカラムがタイムスタンプであること。
・差分チェックカラムが疑似カラムではないこと。（疑似カラムはレスポンスに値を持たず、条件としてのみ使用されます。）
・同期先テーブルは存在できません。（Advanced タブのDrop Table オプションを使用して、ヒストリーモードをアクティブにしてテーブルを再作成します。）

またサポートされる連携先のデータベースやDWHは2022年9月現在は以下の通りです。

・SQL Server
・MySQL
・PostgreSQL
・Oracle DB
・Snowflake
・Databricks
・Redshift

設定方法

History Mode の設定は簡単です。ジョブもしくはタスクの設定で「ヒストリーモードを有効化」を指定するだけです。

History Mode を使ってみる

それでは実際にHistory Mode を使ってみましょう。

今回はSalesforce から MySQL へ商談情報（Opportunity）をレプリケーションしてみました。

まず初回のジョブ実行を行ってみます。初回は以下の通り全データ（トータル33件）が取り込まれます。

前述の通りHistory Mode ではどのデータがアクティブな最新データか？　いつ更新されたのか？　最初にレプリケーションされたのはいつか？　がわかるように「_cdatasync_active」「_cdatasync_start」「_cdatasync_end」の3つの項目が追加された状態でテーブルとデータがレプリケーションされます。