IBM SPSS Modeler にAzure Data Lake Storage のデータをシームレスに読み込む方法

こんにちは！リードエンジニアの杉本です。

本記事では、データサイエンティスト向けのツールとして有名なIBM SPSS Modeler でCData Driver を利用し、各種クラウドサービスのデータを取り込み、予測モデル作成につなげる方法を紹介したいと思います。

IBM SPSS Modeler とは？

IBMが提供するビジュアル・データサイエンスと機械学習（ML）のソリューションです。

SPSS Modeler はローコードで予測モデルの作成およびモデルの作成に必要なデータ加工などのプレパレーションを実施できます。今回の記事では、このSPSS Modeler にAzure Data Lake Storage のデータを取り込んでみたいと思います。データの取得ができれば、予測モデルの作成などに自在に活用できます。

連携シナリオ

さて、今回の記事ではSPSS からAzure Data Lake Storage に接続していきますが、このときに必要となるのがCData ODBC ドライバです。

SPSS にはODBC を経由して他サービスに接続する機能が標準提供されています。この機能とCData が提供しているODBC Drivers ラインナップを組み合わせることで、各種クラウドサービスのAPI やデータベースにシームレスにアクセスすることができるようになります。

とは言っても、説明だけではイメージできない部分もあると思うので、実際に連携を試してみましょう。

CData Azure Data Lake Storage ODBC Driver のインストール

最初にCData Azure Data Lake Storage ODBC Driver を対象のマシンにインストールします。

以下のページから30日間のトライアルがダウンロードできます。

インストーラーを入手後、対象のマシンでセットアップを進めていきます。

セットアップが完了すると接続設定画面が表示されるので、Azure Data Lake Storage への認証に必要な情報を入力します。

Azure DataLakeStorage 接続プロパティの取得・設定方法

Azure DataLakeStorage Gen 1 への接続

Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

• Schema：ADLSGen1 を指定。
• Account：アカウント名に設定。
• AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
• Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 1 への認証

Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

Azure DataLakeStorage Gen 2 への接続

Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

• Schema：ADLSGen2 に設定。
• Account：ストレージアカウント名に設定。
• FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
• Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 2 への認証

Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

アクセスキーを使用した認証

アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
2. 設定で「アクセスキー」を選択します。
3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

あとは「接続のテスト」ボタンをクリックし、接続が成功したら、「接続ウィザード」の「OK」ボタンをクリックして保存します。

接続完了後、メタデータタブから利用できるテーブル・ビューの情報を確認できます。

ここで予めAzure Data Lake Storage のどのオブジェクト、項目を利用するか確認しておくと良いでしょう。

SPSS Modeler を立ち上げて新規ストリームを作成

それではSPSS Modeler を使ってAzure Data Lake Storage のデータを取り込んでみましょう。

Windows のスタートメニューから「IBM SPSS Modeler Subscription」を立ち上げて、新しいストリームを作成します。

データベース入力を追加

まず「入力」タブにある「データベース」をストリーム上に配置します。

配置したアイコンをダブルクリックするとデータベースの接続設定画面が出てくるので、「データソース」から「新規データベース接続の追加」をクリックします。

すると以下のようにODBC DSNの一覧が表示されるので、先程構成したAzure Data Lake Storage のDSNを選択して、「接続」をクリックしましょう。

ユーザー名・パスワードなどの認証情報は事前に入力してあるので、空白のままで構いません。これでAzure Data Lake Storage への接続を確立できます。

接続を追加したら、どんなデータを取り込むのか、テーブルまたはSQLクエリーで設定します。

とりあえず手軽に取り込めるテーブル名での指定を行ってみます。「データの選択」をクリックします。

表示されたテーブル・ビューの一覧から取り込みたい対象のテーブルを選択しましょう。

フィルタリング・データ型の設定・データの取得

あとはフィルター条件として、どの項目を取り込むかどうかという設定や、

モデル作成の際に利用するデータ型やロールを設定すれば、データ取得の準備はOKです。

データのプレビューを確認すると、以下のようにAzure Data Lake Storage のデータを確認できました。

せっかくなので、「データ検査」を実行してデータの傾向も確認してみましょう。

以下のように各項目のデータの最小・最大・平均、有効な値かどうかなどが確認できます。

このように、とてもシンプルな手順でAzure Data Lake Storage のデータをSPSS Modeler に取り込むことができました。

これで、予測モデル作成などより複雑なタスクにAzure Data Lake Storage データを簡単に活用できます。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、RDB、NoSQL データをSPSS Modeler からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。