各製品の資料を入手。
詳細はこちら →IBM Cloud Data Engine へのETL / ELT パイプラインを構築
あらゆるデータベースに簡単に統合
あらゆるデータベースに簡単に統合
人気のデータベース、データレイク、データウェアハウスにデータ転送
- IBM Cloud Data Engine データを多様なデータベース、データウェアハウスに転送
- 管理画面からノーコードで転送、ETL/ELT、CDC、スケジュール実行の設定が可能
30日間の無償トライアルへ 価格
CData Sync では、IBM Cloud Data Engine 以外にも400種類以上のデータソースをご利用いただけます。詳細はこちら。
CData Sync を使えば、IBM Cloud Data Engine のデータを簡単にお好みのDB、DWH にレプリケーション、統合できます。一度統合したデータは、人気のBI、帳票、ノーコードツールなどから活用できます。
- あらゆるデータベース、データウェアハウスにデータを統合。
- IBM Cloud Data Engine のレプリケーションをデータベースに作成し、レポーティングやダッシュボードに利用。
- システムからオフロードクエリを実行することによりデータ通信量の削減やパフォーマンス向上を実現。
- CDC(変更データキャプチャ)や差分更新に対応。データを素早くレプリケーション。
- SQL でのシンプルなETL / ELT およびdbt Core、dbt Cloud に連携した高度なデータパイプラインの構築が可能。
- ディザスタリカバリーのためのアーカイブに。
機能について詳しくはこちら
オンプレミス・クラウドのDB / DWH にデータを統合
IBM Cloud Data Engine のデータパイプラインを人気のオンプレおよびクラウドのDWH に構築。
AlloyDB Couchbase Snowflake Amazon S3 Amazon Redshift Google BigQuery Google Cloud SQL Kafka SQLite SQL Server PostgreSQL Oracle Database MySQL MongoDB IBM DB2 CSV Apache Cassandra Azure Data Lake Azure Synapse Microsoft Azure SQL Microsoft Access MySQL HeatWave Vertica SAP HANA KARTE Datahub PostgreSQL:リバースETL SQL Server:リバースETL Snowflake:リバースETL Databricks Heroku / Salesforce Connectエンタープライズに欠かせない機能を搭載
CDC / 差分更新に対応した高速レプリケーション
多くのデータソースで差分更新に対応しているので、前回のレプリケーション後のデータの追加・更新分だけを高速・低コストで転送できます。 差分更新は、大規模なデータセット、低速なAPI、転送容量制限など多様な課題を解決します。差分更新の手法として、CData Sync ではカラムベースの方法と変更データキャプチャ(CDC)を用意しています。 カラムベースの差分更新では、前回同期したレコードの最終更新日時やバージョンを参照して差分レコードを抽出し、同期先DBを更新します。CDC では、データソースのログファイルをスキャンしてデータの変更を検出・同期します。 これらの手法を利用することで、使用する帯域幅およびレイテンシを大幅に抑えた上でデータウェアハウスのデータを常に最新で分析可能な状態に保つことができます。差分更新を使ったCData Sync の高度なデータレプリケーション機能は、高い柔軟性とパフォーマンスを持つETL / ELT パイプラインを実現します。
業界最大級のコネクタ数
CData Sync の包括的なコネクタラインナップを活用すれば、データの活用範囲を大幅に拡大できます。 400以上のコネクタを用意しているので、SaaS アプリケーション、データベース、Web API、CSV ファイルなど多様なデータソースをDB / DWH に統合でき、社内で利用するSaaS が増えてもすぐに対応できます。 コネクタはCData Sync のGUI からすぐに追加することができるので、幅広いSaaS / DB コネクタを手軽に利用して、社内のデータ活用を促進できます。
スキーマ変更の自動検出と追従
SaaS / DB のテーブルスキーマはことあるごとに変更されます。CData Sync の動的なスキーマ変更機能を使えば、スキーマ変更への対応に煩わされることはありません。CData Sync は、ジョブ実行時に毎回データソースと同期先DB のスキーマを比較して変更を検出します。 テーブルに新しいカラムが追加された、データ型のサイズが増加した、といった場合には、正確なデータを反映できるよう同期先テーブルのスキーマを自動で変更します。同期先テーブルのカラムを削除したりカラムサイズを削減したりといった削除に関する操作は自動では行わないので、CData Sync がクリティカルなデータを消去することはありません。 CData Sync はデータの変化に適応するツールなので、データをツールに合わせて変更する必要はありません。
シンプルに始められて、高度なカスタマイズも可能なETL / ELT
CData Sync はETL / ELT 機能としてシンプルにカスタムSQL クエリを書けるクエリビルダー、および高度なETL パイプラインの管理・構築が可能なdbt™ 連携の機能を搭載。手軽にデータ統合をはじめることができるのはもちろん、高度な機能が必要なユーザーのニーズにも応えます。 dbt は、エンジニアリングに欠かせないモジュール性、ポータビリティ、CI / CD 機能、ドキュメントを用意したデータエンジニアリングの人気ツールで、データを分析に最適な形にSQL で加工・整形できます。CData Sync を使えば、dbt と連携してレプリケーションの開始前、または開始後に同期先データベース上でSQL スクリプトを実行し、データを変換できます。 SQL クエリの作成と実行、およびプロジェクト・依存関係の管理をdbt 連携で実現。さらに、カラムの名前変更、追加、削除、結合、フィルタの適用、集計、データの分割をETL / ELT 機能で実行。スケジュール実行、通知といった管理面での機能も充実しているので、データをいつでも分析とレポーティングに最適な状態に保つことができます。
ニアリアルタイムのデータ統合
CData Sync のデータ統合機能は、多様な形式、構造を持つあらゆるデータソースの基幹データベース / データウェアハウスへの統合・レプリケーションを実現します。CData Sync はニアリアルタイムでデータを更新して整形・統合を行うので、データ分析・レポーティング・ダッシュボード構築といった業務でデータをすぐに活用できます。さらに、一度設定してしまえば手作業は不要。CData Sync が自動でデータを最新に保ちます。
イベント機能で業務自動化を促進
CData Sync は、ジョブ実行の前後で外部システムからの情報を利用したさまざまなカスタム処理を実行できる、イベント機能を搭載しています。 この機能を使えば、データ変換のフローに簡単に外部システムとの連携を組み込んで、業務自動化に活かせます。CData Sync のカスタムスクリプト用言語(APIScript)を利用することで、クエリパラメータの追加、外部システムと連携した処理の実行、バッチファイルの実行やメール送信などの業務に欠かせないタスクを、簡単にデータ処理タスクと連携・自動化できます。 ジョブ作成時に設定できる環境変数を使えば、動的な処理を組み込んでジョブ実行を精緻に制御でき、カスタムのETL / ELT パイプラインを自在に構築できます。
データリネージおよびロギングで監査や障害対応も容易
CData Sync はロギングおよびジョブ履歴のトラッキング機能を搭載しているので、ジョブ実行、接続エラー、レプリケーションに関する異なる詳細度のログを簡単に保存することができます。 job-history テーブルが実行したジョブのレコードをすべて保持するので、結果を確認してその変化をトラッキングする、といったプロセスも簡単に実現できます。データソース、同期先、レプリケーションエンジン間の連携に関する特定のログを取得することもできるので、エラーが発生した場合にはすぐに原因を調査できます。 また、ログをローカルおよびAmazon S3 バケットに保存することもできるので、長期での保存や監査に活用できます。Sync の強力なロギング・ヒストリー機能を使えば、包括的な監査やデータリネージのトラッキングを実現できます。
分析・レポーティング業務ですぐに使えるビュー
いくつかのデータソースでは、分析・レポーティング業務ですぐに使えるカスタムのディメンションや指標を用意しています。これらのビューを使えば、Google Analytics(GA4)、Google 広告、Facebook 広告などのデータをデータ分析やレポーティングにすぐに使えるビューとしてDB / DWH にレプリケートし、データモデルの知識がなくても簡単に業務で利用できます。
環境を選ばない柔軟なデプロイオプション
CData Sync はオンプレミス・クラウド双方の環境へのデプロイをサポートしているので、貴社の環境にベストフィットするデプロイオプションを選択できます。クラウド運用であれば、AWS やAzure のマーケットプレイスから設定済みのインスタンスを利用することができます。オンプレミス運用であれば、ポートやファイアウォールの開放、VPN 接続の設定といった作業を行う必要なく、オンプレミス環境にデプロイして社内のセキュリティプロトコルに則った運用をすることもできます。 CData Sync はデータソースや同期先の運用環境に合わせて柔軟にデプロイできるので、レイテンシの低下やパフォーマンスの向上に繋がり、データ保護やデータレジデンシーなど、データガバナンス面での対応にも役立ちます。
ジョブのスケジュール実行とオートメーション
CData Sync のスケジュール実行機能を使えば、ETL / ELT 処理を簡単に自動化できます。1時間ごとの更新からcron 式を使ったカスタム設定まで、お好みのタイミングでジョブをスケジュールできます。 手動実行いらずでレプリケーションが実行でき、クエリのステータスやジョブの成功 / 失敗に応じた通知を受け取ることもできます。アラートはエラー時だけ受け取ることもできますし、すべてのジョブ実行で受け取ることもでき、Microsoft Teams やSlack に連携できます。 重要な処理を通知する機能をETL / ELT パイプラインに組み込むことで、効率的で可用性が高く、正確にデータをレプリケートできるパイプラインを構築できます。
リバースETL(Reverse ETL)
データウェアハウスや分析基盤から業務システムへのデータの付加・強化を実現するリバースETL(Reverse ETL)は、業務でのデータ活用の幅をさらに広げたい企業にとって欠かせない機能です。CData Sync なら、DB やDWH にあるデータを直接Salesforce に転送できます。Salesforce に他のSaaS やマスタのデータを統合・集計したデータを追加することで、Salesforce での顧客管理をさらに有効に実施できます。