IBM SPSS Modeler にBitbucket のデータをシームレスに読み込む方法

こんにちは！リードエンジニアの杉本です。

本記事では、データサイエンティスト向けのツールとして有名なIBM SPSS Modeler でCData Driver を利用し、各種クラウドサービスのデータを取り込み、予測モデル作成につなげる方法を紹介したいと思います。

IBM SPSS Modeler とは？

IBMが提供するビジュアル・データサイエンスと機械学習（ML）のソリューションです。

SPSS Modeler はローコードで予測モデルの作成およびモデルの作成に必要なデータ加工などのプレパレーションを実施できます。今回の記事では、このSPSS Modeler にBitbucket のデータを取り込んでみたいと思います。データの取得ができれば、予測モデルの作成などに自在に活用できます。

連携シナリオ

さて、今回の記事ではSPSS からBitbucket に接続していきますが、このときに必要となるのがCData ODBC ドライバです。

SPSS にはODBC を経由して他サービスに接続する機能が標準提供されています。この機能とCData が提供しているODBC Drivers ラインナップを組み合わせることで、各種クラウドサービスのAPI やデータベースにシームレスにアクセスすることができるようになります。

とは言っても、説明だけではイメージできない部分もあると思うので、実際に連携を試してみましょう。

CData Bitbucket ODBC Driver のインストール

最初にCData Bitbucket ODBC Driver を対象のマシンにインストールします。

以下のページから30日間のトライアルがダウンロードできます。

インストーラーを入手後、対象のマシンでセットアップを進めていきます。

セットアップが完了すると接続設定画面が表示されるので、Bitbucket への認証に必要な情報を入力します。

ほとんどのクエリでは、ワークスペースを設定する必要があります。唯一の例外は、Workspacesテーブルです。このテーブルはこのプロパティの設定を必要とせず、クエリを実行すると、Workspaceの設定に使用できるワークスペーススラッグのリストが提供されます。このテーブルにクエリを実行するには、スキーマを'Information'に設定し、SELECT * FROM Workspacesクエリを実行する必要があります。

Schemaを'Information'に設定すると、一般的な情報が表示されます。Bitbucketに接続するには、以下のパラメータを設定してください。

• Schema: ワークスペースのユーザー、リポジトリ、プロジェクトなどの一般的な情報を表示するには、これを'Information'に設定します。それ以外の場合は、クエリを実行するリポジトリまたはプロジェクトのスキーマに設定します。利用可能なスキーマの完全なセットを取得するには、sys_schemasテーブルにクエリを実行してください。
• Workspace: Workspacesテーブルにクエリを実行する場合を除き、必須です。Workspacesテーブルへのクエリにはこのプロパティは必要ありません。そのクエリはWorkspaceの設定に使用できるワークスペーススラッグのリストのみを返すためです。

Bitbucketでの認証

BitbucketはOAuth認証のみをサポートしています。すべてのOAuthフローからこの認証を有効にするには、カスタムOAuthアプリケーションを作成し、AuthSchemeをOAuthに設定する必要があります。

特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを必ず確認してください。

カスタムOAuthアプリケーションの作成

Bitbucketアカウントから、以下のステップを実行します。

1. 設定（歯車アイコン）に移動し、ワークスペース設定を選択します。
2. アプリと機能セクションで、OAuthコンシューマーを選択します。
3. コンシューマーを追加をクリックします。
4. カスタムアプリケーションの名前と説明を入力します。
5. コールバックURLを設定します。
   • デスクトップアプリケーションとヘッドレスマシンの場合、http://localhost:33333または任意のポート番号を使用します。ここで設定するURIがCallbackURLプロパティになります。
   • Webアプリケーションの場合、信頼できるリダイレクトURLにコールバックURLを設定します。このURLは、ユーザーがアプリケーションにアクセスが許可されたことを確認するトークンを持って戻るWebの場所です。
6. クライアント認証情報を使用して認証する予定の場合、これはプライベートコンシューマーですを選択する必要があります。ドライバーでは、AuthSchemeをclientに設定する必要があります。
7. OAuthアプリケーションに与える権限を選択します。これにより、読み取りおよび書き込みできるデータが決まります。
8. 新しいカスタムアプリケーションを保存するには、保存をクリックします。
9. アプリケーションが保存された後、それを選択して設定を表示できます。アプリケーションのKeyとSecretが表示されます。これらを将来の使用のために記録してください。Keyを使用してOAuthClientIdを設定し、Secretを使用してOAuthClientSecretを設定します。

あとは「接続のテスト」ボタンをクリックし、接続が成功したら、「接続ウィザード」の「OK」ボタンをクリックして保存します。

接続完了後、メタデータタブから利用できるテーブル・ビューの情報を確認できます。

ここで予めBitbucket のどのオブジェクト、項目を利用するか確認しておくと良いでしょう。

SPSS Modeler を立ち上げて新規ストリームを作成

それではSPSS Modeler を使ってBitbucket のデータを取り込んでみましょう。

Windows のスタートメニューから「IBM SPSS Modeler Subscription」を立ち上げて、新しいストリームを作成します。

データベース入力を追加

まず「入力」タブにある「データベース」をストリーム上に配置します。

配置したアイコンをダブルクリックするとデータベースの接続設定画面が出てくるので、「データソース」から「新規データベース接続の追加」をクリックします。

すると以下のようにODBC DSNの一覧が表示されるので、先程構成したBitbucket のDSNを選択して、「接続」をクリックしましょう。

ユーザー名・パスワードなどの認証情報は事前に入力してあるので、空白のままで構いません。これでBitbucket への接続を確立できます。

接続を追加したら、どんなデータを取り込むのか、テーブルまたはSQLクエリーで設定します。

とりあえず手軽に取り込めるテーブル名での指定を行ってみます。「データの選択」をクリックします。

表示されたテーブル・ビューの一覧から取り込みたい対象のテーブルを選択しましょう。

フィルタリング・データ型の設定・データの取得

あとはフィルター条件として、どの項目を取り込むかどうかという設定や、

モデル作成の際に利用するデータ型やロールを設定すれば、データ取得の準備はOKです。

データのプレビューを確認すると、以下のようにBitbucket のデータを確認できました。

せっかくなので、「データ検査」を実行してデータの傾向も確認してみましょう。

以下のように各項目のデータの最小・最大・平均、有効な値かどうかなどが確認できます。

このように、とてもシンプルな手順でBitbucket のデータをSPSS Modeler に取り込むことができました。

これで、予測モデル作成などより複雑なタスクにBitbucket データを簡単に活用できます。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、RDB、NoSQL データをSPSS Modeler からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。