各製品の資料を入手。
詳細はこちら →Amazon Marketplace からAzure Data Lake へのデータ連携
CData Sync は、Azure Data Lake を含む400種類以上のSaaS / DB のデータをノーコードでデータ基盤に連携できるETL / ELT ツールです。Amazon Marketplace からAzure Data Lake へのデータパイプラインを簡単に作成できます。
レポーティング用のダッシュボード構築、データ分析・活用のための分析基盤構築、クラウドへのリフトアンドシフトなど、CData Sync がAmazon Marketplace データの活用ニーズに応えるデータ基盤の構築を強力に支援します。
主要機能を5分で体験する 30日間の無償トライアルへAmazon Marketplace とは
Amazon Marketplace は、サードパーティの販売者が Amazon 自身の在庫と並んで製品をリストし販売できるオンライン プラットフォームです。販売者は何百万もの潜在的な顧客にアクセスでき、Amazon のフルフィルメント サービスのメリットを享受できます。幅広い製品を提供し、消費者に便利なショッピング体験を提供します。
Azure Data Lake とは
Azure Data Lake は、企業が安全でスケーラブルな環境で大量のデータを保存・分析できるクラウドベースのストレージおよび分析サービスです。構造化データと非構造化データの中央リポジトリを提供し、ユーザーがデータを簡単に処理、分析し、洞察を得ることを可能にします。
Amazon Marketplace とAzure Data Lake をCData Sync で連携・統合
CData Sync を使えば、Amazon Marketplace のデータをあらゆるデータベース、データレイク、データウェアハウスへ継続的に同期することができるので、データ分析、レポーティング、AI / 機械学習などの用途で簡単に利用できます。
- Azure Data Lake を含むあらゆるデータベース・データウェアハウス(DWH)にデータを同期。
- Amazon Marketplace のデータをDB / DWH に同期してレポーティング業務、BI、データ分析に活用。
- 3ステップの画面操作で手軽にETL / ELT パイプラインを構築。シンプルな操作感とはじめやすい価格設定で、データ統合を手軽にスタート。
- SQL でのシンプルな変換から、dbt Core、dbt Cloud と連携した高度なETL / ELT 処理までをサポート。
- Amazon Marketplace のデータをアーカイブしてディザスタリカバリに活用。
Amazon Marketplace をAzure Data Lake に連携
CData Sync によるAmazon Marketplace データ連携の特徴
シンプル・ノーコードのAmazon Marketplace データ連携
カスタムコーディングや複雑な設定なしで、より多くのデータを高速に移動。Amazon Marketplace をあらゆるDB / DWH にノーコードで連携できます。
高度なデータパイプラインを数分で構築
Amazon Marketplace データ連携のお悩みを差分更新とスキーマの自動検出で解消。Azure Data Lake 上に常に最新のデータを用意できます。
始めやすい価格設定
コネクション数に基づく始めやすく、透明性の高い価格設定で、Amazon Marketplace とAzure Data Lake のデータを無制限に同期できます。
3ステップで簡単にETL / ELT パイプラインを構築
CData Sync は業界トップ企業の
データパイプラインを支えています
CData Sync でデータ分析基盤を再構築。経営・スタッフ全員がダッシュボードを使ってデータの分析ができるように
「CData Sync により素早くデータ収集できる仕組みを内製化でき、経営層やスタッフにも『このプロジェクトは成功する』と確信してもらうことができました。」
佐藤久 様
グロービス経営大学院 CRM チーム
導入事例はこちら
最新データに基づいた業務運営を支えるデータ同期の仕組みを構築
「プログラムを書くことなくノーコードで設定ができ、またデータ同期のスケジュールを設定すれば放っておいても定期的にデータ同期が行われるなどそれだけで独立して動作するため、作業効率がとても良いなと思いました。」
池田邦広 様
菊正宗酒造株式会社
導入事例はこちら
SAP ByDesign のデータをDWH に複製し、経営・社員による共通データ基盤でのデータ活用を実現
「『生データ・粒度の細かいデータ』をそのままDWH であるPostgreSQL に複製できました。CData Sync は、ELT(Extract、Load、Transfer)方式で、加工を間に行う必要がないデザインで、シンプルにSAP ByDeSign データをDWH にロードしてくれるところを評価しました。」
中沢透 様
株式会社トプコン 経営推進本部
導入事例はこちら
エンタープライズに欠かせない機能を搭載
CDC / 差分更新に対応した高速レプリケーション
多くのデータソースで差分更新に対応しているので、前回のレプリケーション後のデータの追加・更新分だけを高速・低コストで転送できます。 差分更新は、大規模なデータセット、低速なAPI、転送容量制限など多様な課題を解決します。差分更新の手法として、CData Sync ではカラムベースの方法と変更データキャプチャ(CDC)を用意しています。 カラムベースの差分更新では、前回同期したレコードの最終更新日時やバージョンを参照して差分レコードを抽出し、同期先DBを更新します。CDC では、データソースのログファイルをスキャンしてデータの変更を検出・同期します。 これらの手法を利用することで、使用する帯域幅およびレイテンシを大幅に抑えた上でデータウェアハウスのデータを常に最新で分析可能な状態に保つことができます。差分更新を使ったCData Sync の高度なデータレプリケーション機能は、高い柔軟性とパフォーマンスを持つETL / ELT パイプラインを実現します。
業界最大級のコネクタ数
CData Sync の包括的なコネクタラインナップを活用すれば、データの活用範囲を大幅に拡大できます。 400以上のコネクタを用意しているので、SaaS アプリケーション、データベース、Web API、CSV ファイルなど多様なデータソースをDB / DWH に統合でき、社内で利用するSaaS が増えてもすぐに対応できます。 コネクタはCData Sync のGUI からすぐに追加することができるので、幅広いSaaS / DB コネクタを手軽に利用して、社内のデータ活用を促進できます。
スキーマ変更の自動検出と追従
SaaS / DB のテーブルスキーマはことあるごとに変更されます。CData Sync の動的なスキーマ変更機能を使えば、スキーマ変更への対応に煩わされることはありません。CData Sync は、ジョブ実行時に毎回データソースと同期先DB のスキーマを比較して変更を検出します。 テーブルに新しいカラムが追加された、データ型のサイズが増加した、といった場合には、正確なデータを反映できるよう同期先テーブルのスキーマを自動で変更します。同期先テーブルのカラムを削除したりカラムサイズを削減したりといった削除に関する操作は自動では行わないので、CData Sync がクリティカルなデータを消去することはありません。 CData Sync はデータの変化に適応するツールなので、データをツールに合わせて変更する必要はありません。
シンプルに始められて、高度なカスタマイズも可能なETL / ELT
CData Sync はETL / ELT 機能としてシンプルにカスタムSQL クエリを書けるクエリビルダー、および高度なETL パイプラインの管理・構築が可能なdbt™ 連携の機能を搭載。手軽にデータ統合をはじめることができるのはもちろん、高度な機能が必要なユーザーのニーズにも応えます。 dbt は、エンジニアリングに欠かせないモジュール性、ポータビリティ、CI / CD 機能、ドキュメントを用意したデータエンジニアリングの人気ツールで、データを分析に最適な形にSQL で加工・整形できます。CData Sync を使えば、dbt と連携してレプリケーションの開始前、または開始後に同期先データベース上でSQL スクリプトを実行し、データを変換できます。 SQL クエリの作成と実行、およびプロジェクト・依存関係の管理をdbt 連携で実現。さらに、カラムの名前変更、追加、削除、結合、フィルタの適用、集計、データの分割をETL / ELT 機能で実行。スケジュール実行、通知といった管理面での機能も充実しているので、データをいつでも分析とレポーティングに最適な状態に保つことができます。
ニアリアルタイムのデータ統合
CData Sync のデータ統合機能は、多様な形式、構造を持つあらゆるデータソースの基幹データベース / データウェアハウスへの統合・レプリケーションを実現します。CData Sync はニアリアルタイムでデータを更新して整形・統合を行うので、データ分析・レポーティング・ダッシュボード構築といった業務でデータをすぐに活用できます。さらに、一度設定してしまえば手作業は不要。CData Sync が自動でデータを最新に保ちます。
イベント機能で業務自動化を促進
CData Sync は、ジョブ実行の前後で外部システムからの情報を利用したさまざまなカスタム処理を実行できる、イベント機能を搭載しています。 この機能を使えば、データ変換のフローに簡単に外部システムとの連携を組み込んで、業務自動化に活かせます。CData Sync のカスタムスクリプト用言語(APIScript)を利用することで、クエリパラメータの追加、外部システムと連携した処理の実行、バッチファイルの実行やメール送信などの業務に欠かせないタスクを、簡単にデータ処理タスクと連携・自動化できます。 ジョブ作成時に設定できる環境変数を使えば、動的な処理を組み込んでジョブ実行を精緻に制御でき、カスタムのETL / ELT パイプラインを自在に構築できます。
データリネージおよびロギングで監査や障害対応も容易
CData Sync はロギングおよびジョブ履歴のトラッキング機能を搭載しているので、ジョブ実行、接続エラー、レプリケーションに関する異なる詳細度のログを簡単に保存することができます。 job-history テーブルが実行したジョブのレコードをすべて保持するので、結果を確認してその変化をトラッキングする、といったプロセスも簡単に実現できます。データソース、同期先、レプリケーションエンジン間の連携に関する特定のログを取得することもできるので、エラーが発生した場合にはすぐに原因を調査できます。 また、ログをローカルおよびAmazon S3 バケットに保存することもできるので、長期での保存や監査に活用できます。Sync の強力なロギング・ヒストリー機能を使えば、包括的な監査やデータリネージのトラッキングを実現できます。
分析・レポーティング業務ですぐに使えるビュー
いくつかのデータソースでは、分析・レポーティング業務ですぐに使えるカスタムのディメンションや指標を用意しています。これらのビューを使えば、Google Analytics(GA4)、Google 広告、Facebook 広告などのデータをデータ分析やレポーティングにすぐに使えるビューとしてDB / DWH にレプリケートし、データモデルの知識がなくても簡単に業務で利用できます。
環境を選ばない柔軟なデプロイオプション
CData Sync はオンプレミス・クラウド双方の環境へのデプロイをサポートしているので、貴社の環境にベストフィットするデプロイオプションを選択できます。クラウド運用であれば、AWS やAzure のマーケットプレイスから設定済みのインスタンスを利用することができます。オンプレミス運用であれば、ポートやファイアウォールの開放、VPN 接続の設定といった作業を行う必要なく、オンプレミス環境にデプロイして社内のセキュリティプロトコルに則った運用をすることもできます。 CData Sync はデータソースや同期先の運用環境に合わせて柔軟にデプロイできるので、レイテンシの低下やパフォーマンスの向上に繋がり、データ保護やデータレジデンシーなど、データガバナンス面での対応にも役立ちます。
ジョブのスケジュール実行とオートメーション
CData Sync のスケジュール実行機能を使えば、ETL / ELT 処理を簡単に自動化できます。1時間ごとの更新からcron 式を使ったカスタム設定まで、お好みのタイミングでジョブをスケジュールできます。 手動実行いらずでレプリケーションが実行でき、クエリのステータスやジョブの成功 / 失敗に応じた通知を受け取ることもできます。アラートはエラー時だけ受け取ることもできますし、すべてのジョブ実行で受け取ることもでき、Microsoft Teams やSlack に連携できます。 重要な処理を通知する機能をETL / ELT パイプラインに組み込むことで、効率的で可用性が高く、正確にデータをレプリケートできるパイプラインを構築できます。
リバースETL(Reverse ETL)
データウェアハウスや分析基盤から業務システムへのデータの付加・強化を実現するリバースETL(Reverse ETL)は、業務でのデータ活用の幅をさらに広げたい企業にとって欠かせない機能です。CData Sync なら、DB やDWH にあるデータを直接Salesforce に転送できます。Salesforce に他のSaaS やマスタのデータを統合・集計したデータを追加することで、Salesforce での顧客管理をさらに有効に実施できます。
その他のAmazon Marketplace データ連携先
Amazon Marketplace から以下の主要なDWH / DB にデータを連携するパイプラインを簡単に構築。