Python でBusiness b-ridge データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for BusinessBridge とpetl フレームワークを使って、Business b-ridge データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりBusiness b-ridge データ にPython から接続し、高いパフォーマンスを発揮します。Business b-ridge にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Business b-ridge 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でBusiness b-ridge データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.businessbridge as mod

接続文字列で接続を確立します。connect 関数を使って、CData Business b-ridge Connector からBusiness b-ridge への接続を行います

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

Business b-ridge 接続プロパティの取得・設定方法

B b-ridge への接続には、Company Key、Project Key、Subscription Key が必要となります。それぞれWeb API 利用申請時に取得できます。取得したKey を接続プロパティに設定して接続します。

• CompanyKey：Business b-ridge のCompany Key に設定。
• ProjectKey：Business b-ridge のProject Key に設定。
• SubscriptionKey：控えておいたSubscription Key に設定。

Business b-ridge をクエリするSQL 文の作成

Business b-ridge にはSQL でデータアクセスが可能です。CDATA エンティティからのデータを読み出します。

sql = "SELECT ItemId, StructureId FROM CDATA WHERE ItemTypeId = '1'"

Business b-ridge データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、Business b-ridge データ を取得して、StructureId カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'StructureId')

etl.tocsv(table2,'cdata_data.csv')

CData Python Connector for BusinessBridge を使えば、データベースを扱う場合と同感覚で、Business b-ridge データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

Business b-ridge Python Connector の30日の無償トライアル をぜひダウンロードして、Business b-ridge データ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.businessbridge as mod

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

sql = "SELECT ItemId, StructureId FROM CDATA WHERE ItemTypeId = '1'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'StructureId')

etl.tocsv(table2,'cdata_data.csv')