ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →CData
こんにちは!リードエンジニアの杉本です。
Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for SFMarketingCloud を使って、Salesforce Marketing のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。
次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。
https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbcインストール用のコマンドはこちら:
embulk gem install embulk-input-jdbc
今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。
https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysqlコマンドはこちら。
embulk gem install embulk-output-mysql
in:
type: jdbc
driver_path: C:\Program Files\CData\CData JDBC Driver for SFMarketingCloud 2024J\lib\cdata.jdbc.sfmarketingcloud.jar
driver_class: cdata.jdbc.sfmarketingcloud.SFMarketingCloudDriver
url: jdbc:sfmarketingcloud:User=myUser;Password=myPassword;InitiateOAuth=REFRESH
table: "Subscriber"
out:
type: mysql
host: localhost
database: DatabaseName
user: UserId
password: UserPassword
table: "Subscriber"
mode: insert
Salesforce Marketing Cloud API への認証
User およびPassword をログインクレデンシャルに設定するか、sandbox アカウントに接続する場合はsandbox ユーザーのクレデンシャルに設定します。
Salesforce Marketing Cloud API への接続
デフォルトでは、CData 製品は本番環境に接続します。Salesforce Marketing Cloud sandbox アカウントを使用するには、UseSandbox をtrue に設定します。
デフォルトのインスタンスは、Web Services API s7 です。他のインスタンスを使用する場合は、Instance を設定できます。
embulk run sfmarketingcloud-mysql.yml
ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。
in:
type: jdbc
driver_path: C:\Program Files\CData\CData JDBC Driver for SFMarketingCloud 2019J\lib\cdata.jdbc.sfmarketingcloud.jar
driver_class: cdata.jdbc.sfmarketingcloud.SFMarketingCloudDriver
url: jdbc:sfmarketingcloud:User=myUser;Password=myPassword;InitiateOAuth=REFRESH
query: "SELECT Id, Status FROM Subscriber WHERE [RecordId] = 1"
out:
type: mysql
host: localhost
database: DatabaseName
user: UserId
password: UserPassword
table: "Subscriber"
mode: insert
CData JDBC Driver for SFMarketingCloud をEmbulk で使うことで、Salesforce Marketing と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。