詳しくはこちら
 
Blog
 

「BigQuery」に関する記事

2021年01月19日

BigQueryへのInsert パターン比較：ストリーミング、DML、バルクロード：CData BigQuery Driver

by 宮本航太

こんにちは。CData Software Japan エンジニアの宮本です。 今回は BigQuery へデータを登録する際の「ストリーミングインサート、DML、バルクロード」の 3つのインサート方法についてみていきたいと思います。 それぞれのInsert パターンについて ストリー…

続きを読む
CData DriversBigQueryJDBCCData Driversソリューションとユースケース
2021年01月08日

BigQueryへのリクエストでエラー：Request payload size exceeds the limit

by 宮本航太

BigQueryへのリクエストでエラー：Request payload size exceeds the limit

続きを読む
CData SyncBigQueryCData Syncソリューションとユースケース
2020年12月28日

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる：CData Sync

by 宮本航太

こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…

続きを読む
CData SyncGCPBigQueryCData Syncソリューションとユースケース
2020年12月24日

製造業向けMAツール - MRC（マーケライズクラウド） の顧客データを Google BigQuery へ定期的に連携する：CData Sync

by 杉本和也

こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC（マーケライズクラウド…

続きを読む
CData SyncBigQueryCData SyncAPI ProfileMRCソリューションとユースケース
2020年12月22日

GCP内で完結！BigQuery にSaaS データをローディングする構成について

by 宮本航太

本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは！CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この１年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…

続きを読む
CData SyncGCPBigQueryDataflowCloud Data FusionCData Syncソリューションとユースケース
2020年12月14日

ELTツール＋Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた：CDataSync

by 宮本航太

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

続きを読む
CData SyncELTDataformBigQueryCData Syncデータ連携ソリューションとユースケース
2020年12月11日

CData Driver・CDataSync BigQuery が サービスアカウント認証のJSONファイルフォーマットをサポート

by 杉本和也

こんにちは。CData Software Japanリードエンジニアの杉本です。 V20 の少し前のビルドからなのですが、CData Driver・CDataSync で提供しているBigQuery Driver・コネクタがサービスアカウント認証を行う場合のファイルフォーマットとしてJSON形式を正式に…

続きを読む
CData DriversBigQueryODBCCData Driversソリューションとユースケース
2020年11月16日

Autify のテストデータをGoogle BigQuery に定期連携：CData Sync

by 宮本航太

本記事はAWS EC2のVMインスタンスにCData Sync を起動させ、Autifyにあるテストデータを定期的にGoogle BigQuery に連携する方法をご紹介します。 Autify とは CDataSync とは 本記事で使うもの Autify のアクセストークン取得 EC2 VM作成～CDataSync Java版…

続きを読む
CData SyncAutifyBigQueryCData Syncデータ連携ニュース
2020年11月04日

Cloud Dataflow × CData JDBC Driver でMarketo のLeadデータをサーバーレスな環境でBigQuery に連携してみる

by 宮本航太

こんにちは、CData の宮本です！ 今回もCloud Dataflow を使った内容をご紹介します。 前回はというと、①CData Connect というSaaS 型のデータハブにDataflow からアクセスして、そこから更に②CData Connect からデータソースにアクセスする2段階の構成をや…

続きを読む
CData DriversDataflowJDBCMarketoBigQueryGCPCData Driversソリューションとユースケース
2020年10月22日

Google Cloud Dataflow のJDBC テンプレートを使用してSaaS 連携を実現：CData Connect

by 宮本航太

こんにちは、CDataの宮本です。 前回の記事では、Cloud Data Fusion × CData Connect でSaaS 連携をご紹介しました。 www.cdatablog.jp 今回は同じGCPサービスのCloud Dataflow のJDBC テンプレートを使って、ノーコードでCData Connect 経由でSaaS データを…

続きを読む
CData Connect CloudGCPDataflowBigQueryDynamics 365Dynamics CRMデータ連携CData Connectニュース
2020年10月02日

【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう！

by 宮本航太

はじめに 本資料は、CData Software Japanのハンズオン向けの資料です。本ドキュメントをもとに実機にCData Sync製品をインストールして手順に沿って操作する事で、Salesforce やkintone などのクラウドサービスのデータをBigQuery やRedShift をはじめ、MyS…

続きを読む
CData SyncCData SyncBigQuerySalesforcekintoneMySQLデータ連携ソリューションとユースケース
2020年09月23日

Cloud Ace 社のカンファレンス OPEN DX 2020 でお会いしましょう！

by Jonathan Hikita

9月24日から開催されるクラウドエース株式会社主催、Google Cloud Japan 協力のオンラインカンファレンスOEPN DX 2020 にCData が登場します。 クラウドエースのOPEN DX 2020 CData Japan はイベント初日9月24日の15:00-16:00 にメインセッションとして「Big…

続きを読む
CData SyncGCPBigQueryCData SyncCloudAceイベントとウェビナー