詳しくはこちら
 
Blog
 

「ELT」に関する記事

モダンなデータパイプラインに求められる6つの機能とは？：データパイプラインツールの変遷から考える
2024年02月20日

モダンなデータパイプラインに求められる6つの機能とは？：データパイプラインツールの変遷から考える

by 加藤龍彦

データは21世紀の石油と言われますが、貯めておくだけではガラクタの山になってしまいます。ガラクタの山であるデータを、ビジネスに資するインサイトを取得可能なものにするために必要なプロセスが、データパイプラインです。いわば、データパイプラインは、データという石油の精製所です。本記事では、データパイプラインの解説からその変遷の歴史、そしてモダンなデータパイプラインに求められる機能をご紹介します。

続きを読む
CData SyncデータパイプラインETLELTSCDCDCCData Sync
2023年07月20日

あなたの業務にピッタリな、ベストETL ツールの選び方

by 加藤龍彦

ETL / ELT ツールは、大量のデータを統合して単一のデータベースやデータウェアハウスへの集約を実現するツールです。本記事では、多種多様なETL ツールを採用する際どのような観点で評価すべきか、という悩みにお答えします。

続きを読む
CData SyncETLELTCData Syncソリューションとユースケース
sync-dbt-cloud-v23のイメージ
2023年05月22日

Salesforce × BigQuery（dbt） × Looker Studio で分析基盤を作る：CData Sync

by 加藤龍彦

dbt Cloud はSaaS のデータ変換ツールで、標準SQL ベースでDB/DWH 上のデータを手軽に変換でき、データパイプラインに組み込んだCI/CD を実現できます。いわゆるモダンデータスタックに欠かせないツールとして、ここしばらくデータエンジニアリング界隈で注目されています。CData Sync はCData が提供するノーコードで手軽にデータパイプラインを構築できるELT ツールですが、なんと今年のV23 アップデートにて、dbt Cloud を使ったデータ変換に対応しました！ということで、今回は実際にSalesforce、BigQuery、Looker Studio を例にdbt Cloud を組み込んだデータパイプラインを作ってみます。

続きを読む
CData SyncCData SyncdbtELTデータパイプラインDWHBI
2023年05月11日

CData Sync のTips 集

by Jonathan Hikita, 加藤龍彦

CData Sync は、Salesforce やkintone などのSaaS やRDB データを各種DB にレプリケーション（複製）できるデータパイプラインツールです。 CData Sync 概要 CData Sync 概要 from CData Software Japan データソースとして対応するSaaS、DB は400種類以上 S…

続きを読む
CData SyncCData SyncETLELTSalesforceBigQueryS3kintoneMySQLSQL Serverソリューションとユースケース
2023年03月03日

CData がCData Sync をドッグフーディングしているユースケース：Salesforce、Google アナリティクス、Jira のTableau への統合

by CData Software, 翻訳：兵藤朋代

CData は、CData Sync を自社でドッグフーディングしてCData Sync の改善にも取り組んでいます。CData の製品チームは、自社のデータ統合ツールを活用して、製品、セールス、そしてマーケティングのイベントやプロセスを可視化し、見込み客のバイヤージャーニーを向上させています。

続きを読む
CData SyncCData SyncETLELTデータパイプラインデータ分析基盤データ分析
2023年01月30日

CData Sync dbt変換機能 - Google BigQueryをサポートしました

by 桑島義行

CData Sync 製品では2022/09リリースのV22 から ELT処理の「T（Transform：データ変換）」機能で dbt Core プロジェクトを指定・実行できるようになりました。20223/02リリースの今回の機能強化で本dbt統合機能でサポート可能なデータソースとしてGoogle BigQuery が新たに加わりました。本記事では、CData Sync製品を利用してBigQueryのデータ変換をdbtで行う方法を説明します。

続きを読む
CData SyncCData SyncdbtGoogle BigQueryELT
2022年12月05日

クラウドデータ連携の「バッチ連携」と「リアルタイム連携」の比較

by Jonathan Hikita

クラウドデータ連携には、実際にデータが間で保管される「バッチ連携」とデータを使うツールから直接データソースに連携する「リアルタイム連携」があります。CData Sync かCData Drivers / Connectors か？とも言えます。 では、どのような時にどっちの連携方法を選べばいいのでしょうか？

続きを読む
CData SyncCData Connect CloudCData DriversCData SyncCData ConnectSalesforceETLELT
CData Sync 新機能 - dbt Core 統合機能
2022年09月21日

CData Sync 新機能 - dbt Core 統合機能

by 桑島義行

CData Sync の新機能をご紹介。ELT処理の「T（Transform：データ変換）」機能で dbt Core プロジェクトを指定・実行できるようになりました。これによりdbt Core を用いたモダンな手法でのデータモデリングが可能となります。

続きを読む
CData SyncCData SyncdbtELT
2021年09月06日

Dnamics 365 セールス（Dynamics CRM）データをSQL Server やGoogle BigQuery にノーコードでレプリケーション：CData Sync

by Jonathan Hikita

CData Sync とは CData Sync は、各種クラウドサービス（SaaS）データをRDB やクラウドデータストアにレプリケーションできるデータパイプラインツールです。各SaaS のAPI コーディングが不要で400種類を超えるデータソースに対応して、主要なRDB やクラウド…

続きを読む
Dynamics 365Dynamics CRMSQL ServerBigQueryレプリケーションETLELTデータパイプラインニュース
2021年05月31日

CDataSyncに変換機能が追加 - ELTのT(Transformetion)が大幅に強化

by 桑島義行

CData Japanテクニカルディレクター桑島です。 本記事ではCDataSyncの新バージョン(V21)で追加された変換機能についてご紹介します。変換機能の追加によって、データウェアハウスにデータをロードした後のデータマートの作成処理やデータウェアハウスをクリ…

続きを読む
cdatasyncV21ELTニュース
2021年03月04日

ELTツールのAIRBYTEとCDataConnectでSaaSデータをBigQueryに連携してみた

by 宮本航太

こんにちは、CData Software Japan エンジニアの宮本です。 つい先日この記事や Twitter 上で AIRBYTE というオープンソースの ELT ツールの存在を知りました。 jp.techcrunch.com ということで早速触ってみましたが、結構簡単に確認できました。 Airbyte 初…

続きを読む
CData Connect CloudAIRBYTEELTSalesforceBigQueryCData Connectソリューションとユースケース
2020年12月14日

ELTツール＋Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた：CDataSync

by 宮本航太

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

続きを読む
CData SyncELTDataformBigQueryCData Syncデータ連携ソリューションとユースケース