ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →CData
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for IBMCloudObjectStorage は、pandas、Matplotlib、SQLAlchemy から使用することで IBM Cloud Object Storage にデータ連携するPython アプリケーションを構築したり、IBM Cloud Object Storage データの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でIBM Cloud Object Storage にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。
CData Python Connectors は、以下のような特徴を持った製品です。
CData Python Connectors では、1.データソースとしてIBM Cloud Object Storage の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でIBM Cloud Object Storage にアクセスします。
pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。
pip install pandas pip install matplotlib pip install sqlalchemy
次にライブラリをインポートします。
import pandas import matplotlib.pyplot as plt from sqlalchemy import create_engine
次は接続文字列を作成してIBM Cloud Object Storage に接続します。create_engine 関数を使って、IBM Cloud Object Storage に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。
engine = create_engine("ibmcloudobjectstorage:///?ApiKey=myApiKey&CloudObjectStorageCRN=MyInstanceCRN&Region=myRegion&OAuthClientId=MyOAuthClientId&OAuthClientSecret=myOAuthClientSecret")
Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。
IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。
API キーは以下の手順で取得できます。
デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。
これで準備は完了です。以下の接続プロパティを設定してください。
プロパティを設定したら、これで接続設定は完了です。
pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。
df = pandas.read_sql("""SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'""", engine)
DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、IBM Cloud Object Storage データをグラフ化してみます。
df.plot(kind="bar", x="Key", y="Etag") plt.show()
このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
import pandas import matplotlib.pyplot as plt from sqlalchemy import create_engin engine = create_engine("ibmcloudobjectstorage:///?ApiKey=myApiKey&CloudObjectStorageCRN=MyInstanceCRN&Region=myRegion&OAuthClientId=MyOAuthClientId&OAuthClientSecret=myOAuthClientSecret") df = pandas.read_sql("""SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'""", engine) df.plot(kind="bar", x="Key", y="Etag") plt.show()