Hive からAzure Synapse へのデータ連携

多くのデータソースで差分更新に対応しているので、前回のレプリケーション後のデータの追加・更新分だけを高速・低コストで転送できます。 差分更新は、大規模なデータセット、低速なAPI、転送容量制限など多様な課題を解決します。差分更新の手法として、CData Sync ではカラムベースの方法と変更データキャプチャ（CDC）を用意しています。 カラムベースの差分更新では、前回同期したレコードの最終更新日時やバージョンを参照して差分レコードを抽出し、同期先DBを更新します。CDC では、データソースのログファイルをスキャンしてデータの変更を検出・同期します。 これらの手法を利用することで、使用する帯域幅およびレイテンシを大幅に抑えた上でデータウェアハウスのデータを常に最新で分析可能な状態に保つことができます。差分更新を使ったCData Sync の高度なデータレプリケーション機能は、高い柔軟性とパフォーマンスを持つETL / ELT パイプラインを実現します。

CData Sync の包括的なコネクタラインナップを活用すれば、データの活用範囲を大幅に拡大できます。 400以上のコネクタを用意しているので、SaaS アプリケーション、データベース、Web API、CSV ファイルなど多様なデータソースをDB / DWH に統合でき、社内で利用するSaaS が増えてもすぐに対応できます。 コネクタはCData Sync のGUI からすぐに追加することができるので、幅広いSaaS / DB コネクタを手軽に利用して、社内のデータ活用を促進できます。

SaaS / DB のテーブルスキーマはことあるごとに変更されます。CData Sync の動的なスキーマ変更機能を使えば、スキーマ変更への対応に煩わされることはありません。CData Sync は、ジョブ実行時に毎回データソースと同期先DB のスキーマを比較して変更を検出します。 テーブルに新しいカラムが追加された、データ型のサイズが増加した、といった場合には、正確なデータを反映できるよう同期先テーブルのスキーマを自動で変更します。同期先テーブルのカラムを削除したりカラムサイズを削減したりといった削除に関する操作は自動では行わないので、CData Sync がクリティカルなデータを消去することはありません。 CData Sync はデータの変化に適応するツールなので、データをツールに合わせて変更する必要はありません。

CData Sync はETL / ELT 機能としてシンプルにカスタムSQL クエリを書けるクエリビルダー、および高度なETL パイプラインの管理・構築が可能なdbt™ 連携の機能を搭載。手軽にデータ統合をはじめることができるのはもちろん、高度な機能が必要なユーザーのニーズにも応えます。 dbt は、エンジニアリングに欠かせないモジュール性、ポータビリティ、CI / CD 機能、ドキュメントを用意したデータエンジニアリングの人気ツールで、データを分析に最適な形にSQL で加工・整形できます。CData Sync を使えば、dbt と連携してレプリケーションの開始前、または開始後に同期先データベース上でSQL スクリプトを実行し、データを変換できます。 SQL クエリの作成と実行、およびプロジェクト・依存関係の管理をdbt 連携で実現。さらに、カラムの名前変更、追加、削除、結合、フィルタの適用、集計、データの分割をETL / ELT 機能で実行。スケジュール実行、通知といった管理面での機能も充実しているので、データをいつでも分析とレポーティングに最適な状態に保つことができます。

CData Sync なら、貴社のデータ処理を高度なパフォーマンス機能で大幅強化できます。CData Sync はクラスタ構成をサポートしているので、複数のSync インスタンスを並列で利用してジョブを分散することで、スケーラビリティを改善し、可用性を向上できます。並列処理を使えば、各ジョブが複数のワーカースレッドを利用でき、データ転送を高速化して効率的にデータを処理できます。複数のタスクを同時に実行することで、CData Sync はより多くのデータをより短時間で確実に転送します。最高度の生産性と信頼性を実現するCData Sync が、パフォーマンスの新たなスタンダードを打ち立てます。

CData Sync のデータ統合機能は、多様な形式、構造を持つあらゆるデータソースの基幹データベース / データウェアハウスへの統合・レプリケーションを実現します。CData Sync はニアリアルタイムでデータを更新して整形・統合を行うので、データ分析・レポーティング・ダッシュボード構築といった業務でデータをすぐに活用できます。さらに、一度設定してしまえば手作業は不要。CData Sync が自動でデータを最新に保ちます。

CData Sync は、ジョブ実行の前後で外部システムからの情報を利用したさまざまなカスタム処理を実行できる、イベント機能を搭載しています。 この機能を使えば、データ変換のフローに簡単に外部システムとの連携を組み込んで、業務自動化に活かせます。CData Sync のカスタムスクリプト用言語（APIScript）を利用することで、クエリパラメータの追加、外部システムと連携した処理の実行、バッチファイルの実行やメール送信などの業務に欠かせないタスクを、簡単にデータ処理タスクと連携・自動化できます。 ジョブ作成時に設定できる環境変数を使えば、動的な処理を組み込んでジョブ実行を精緻に制御でき、カスタムのETL / ELT パイプラインを自在に構築できます。

CData Sync はロギングおよびジョブ履歴のトラッキング機能を搭載しているので、ジョブ実行、接続エラー、レプリケーションに関する異なる詳細度のログを簡単に保存することができます。 job-history テーブルが実行したジョブのレコードをすべて保持するので、結果を確認してその変化をトラッキングする、といったプロセスも簡単に実現できます。データソース、同期先、レプリケーションエンジン間の連携に関する特定のログを取得することもできるので、エラーが発生した場合にはすぐに原因を調査できます。 また、ログをローカルおよびAmazon S3 バケットに保存することもできるので、長期での保存や監査に活用できます。Sync の強力なロギング・ヒストリー機能を使えば、包括的な監査やデータリネージのトラッキングを実現できます。

いくつかのデータソースでは、分析・レポーティング業務ですぐに使えるカスタムのディメンションや指標を用意しています。これらのビューを使えば、Google Analytics（GA4）、Google 広告、Facebook 広告などのデータをデータ分析やレポーティングにすぐに使えるビューとしてDB / DWH にレプリケートし、データモデルの知識がなくても簡単に業務で利用できます。

CData Sync はオンプレミス・クラウド双方の環境へのデプロイをサポートしているので、貴社の環境にベストフィットするデプロイオプションを選択できます。クラウド運用であれば、AWS やAzure のマーケットプレイスから設定済みのインスタンスを利用することができます。オンプレミス運用であれば、ポートやファイアウォールの開放、VPN 接続の設定といった作業を行う必要なく、オンプレミス環境にデプロイして社内のセキュリティプロトコルに則った運用をすることもできます。 CData Sync はデータソースや同期先の運用環境に合わせて柔軟にデプロイできるので、レイテンシの低下やパフォーマンスの向上に繋がり、データ保護やデータレジデンシーなど、データガバナンス面での対応にも役立ちます。

CData Sync のスケジュール実行機能を使えば、ETL / ELT 処理を簡単に自動化できます。1時間ごとの更新からcron 式を使ったカスタム設定まで、お好みのタイミングでジョブをスケジュールできます。 手動実行いらずでレプリケーションが実行でき、クエリのステータスやジョブの成功 / 失敗に応じた通知を受け取ることもできます。アラートはエラー時だけ受け取ることもできますし、すべてのジョブ実行で受け取ることもでき、Microsoft Teams やSlack に連携できます。 重要な処理を通知する機能をETL / ELT パイプラインに組み込むことで、効率的で可用性が高く、正確にデータをレプリケートできるパイプラインを構築できます。

データウェアハウスや分析基盤から業務システムへのデータの付加・強化を実現するリバースETL（Reverse ETL）は、業務でのデータ活用の幅をさらに広げたい企業にとって欠かせない機能です。CData Sync なら、DB やDWH にあるデータを直接Salesforce に転送できます。Salesforce に他のSaaS やマスタのデータを統合・集計したデータを追加することで、Salesforce での顧客管理をさらに有効に実施できます。