Power BI データフローでBitbucket データを分析用にデータプレパレーション

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

Power BI データフロー は、Power BIが持つデータ準備（Data Preparation）の機能です。この機能を使用することで、様々なデータソースに接続してデータをクレンジング・変換してPower BIストレージに読み込むことが出来ます。Power BI データフローでCData Power BI Connector for Bitbucket を使うことで、Bitbucket データをノーコードで連携して、データ加工・データ準備で使用することができます。本手順では、CData Power BI Connectors 製品で、PowerBIゲートウェイ経由でBitbucket に連携する方法を紹介します。

Power BI Connector でBitbucket への接続を設定

CData Power BI Connector をインストールすると完了後にDSN 設定画面が開きます。ここでBitbucket への接続を設定します。

接続作業はWindows のODBC データソースアドミニストレータでも設定可能です。CData PowerBI REST DSN を選択します。 Power BI のbit 数（32 bit or 64 bit）に合わせたアドミニストレータを使うように気を付けてください。DSN 設定画面で必要な項目を入力してBitbucket データに接続します。入力後に接続のテストを行い、OK を押して接続を確立します。

ほとんどのクエリでは、ワークスペースを設定する必要があります。唯一の例外は、Workspacesテーブルです。このテーブルはこのプロパティの設定を必要とせず、クエリを実行すると、Workspaceの設定に使用できるワークスペーススラッグのリストが提供されます。このテーブルにクエリを実行するには、スキーマを'Information'に設定し、SELECT * FROM Workspacesクエリを実行する必要があります。

Schemaを'Information'に設定すると、一般的な情報が表示されます。Bitbucketに接続するには、以下のパラメータを設定してください。

• Schema: ワークスペースのユーザー、リポジトリ、プロジェクトなどの一般的な情報を表示するには、これを'Information'に設定します。それ以外の場合は、クエリを実行するリポジトリまたはプロジェクトのスキーマに設定します。利用可能なスキーマの完全なセットを取得するには、sys_schemasテーブルにクエリを実行してください。
• Workspace: Workspacesテーブルにクエリを実行する場合を除き、必須です。Workspacesテーブルへのクエリにはこのプロパティは必要ありません。そのクエリはWorkspaceの設定に使用できるワークスペーススラッグのリストのみを返すためです。

Bitbucketでの認証

BitbucketはOAuth認証のみをサポートしています。すべてのOAuthフローからこの認証を有効にするには、カスタムOAuthアプリケーションを作成し、AuthSchemeをOAuthに設定する必要があります。

特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを必ず確認してください。

カスタムOAuthアプリケーションの作成

Bitbucketアカウントから、以下のステップを実行します。

1. 設定（歯車アイコン）に移動し、ワークスペース設定を選択します。
2. アプリと機能セクションで、OAuthコンシューマーを選択します。
3. コンシューマーを追加をクリックします。
4. カスタムアプリケーションの名前と説明を入力します。
5. コールバックURLを設定します。
   • デスクトップアプリケーションとヘッドレスマシンの場合、http://localhost:33333または任意のポート番号を使用します。ここで設定するURIがCallbackURLプロパティになります。
   • Webアプリケーションの場合、信頼できるリダイレクトURLにコールバックURLを設定します。このURLは、ユーザーがアプリケーションにアクセスが許可されたことを確認するトークンを持って戻るWebの場所です。
6. クライアント認証情報を使用して認証する予定の場合、これはプライベートコンシューマーですを選択する必要があります。ドライバーでは、AuthSchemeをclientに設定する必要があります。
7. OAuthアプリケーションに与える権限を選択します。これにより、読み取りおよび書き込みできるデータが決まります。
8. 新しいカスタムアプリケーションを保存するには、保存をクリックします。
9. アプリケーションが保存された後、それを選択して設定を表示できます。アプリケーションのKeyとSecretが表示されます。これらを将来の使用のために記録してください。Keyを使用してOAuthClientIdを設定し、Secretを使用してOAuthClientSecretを設定します。

接続テストを押して接続を確認します。成功したらOK を押してBitbucket への接続を確立します。

オンプレミスデータゲートウェイでのPowerBI.com へのデータリフレッシュの設定

次の手順でPower BI オンプレミスゲートウェイ を使って、ローカルに設定したDSN のBitbucket データをPower BI のクラウド上から定期的にリフレッシュすることが可能です。

ゲートウェイモードの選択

まずはゲートウェイのモードを選択します。

• Gateway (個人用モード): Power BI にのみパブリッシュしてリフレッシュする場合はこちらを選択。ゲートウェイはWindows ユーザーアカウントで起動します。
• Gateway (formerly Enterprise): ほかのAzure サービスでゲートウェイが必要な場合には、こちらを選択します。また、複数のユーザーがゲートウェイにアクセスする場合にもデフォルトゲートウェイが必要です。
  デフォルトゲートウェイでアクセスする場合にはシステムDSN で接続する必要があります。ユーザーDSN だと特定のアカウントのみがアクセスでき、システムDSN のようにシステム全体からアクセスすることができないためです。CData Power BI Bitbucket system DSN は、コネクタのインストールの最後のステップで設定します。

個人用モードゲートウェイの設定

Personal モードでのゲートウェイでのパブリッシュは、カスタムコネクタにアクセスできるゲートウェイをインストールする必要があります。

1. CData Power BI Connector インストーラーを実行します。ダウンロードはこちらから 可能です。
2. on-premises data gateway (personal mode) オプションを選択します。
3. ゲートウェイにサインインします。
4. ゲートウェイ名を設定し、Recovery Key を指定します。
5. コネクタセクションで、カスタムデータコネクタオプションを有効化します。.pqx ファイルが置かれたパスをオルタナティブパスとして設定することもできます。
   Note: CData Power BI Connectors は、デフォルトフォルダ（Your User Home\Documents\Power BI Desktop\Custom Connectors）に.pqx ファイルをインストールします。

ゲートウェイの設定

ゲートウェイ経由のパブリッシュには、コネクタへのアクセスが可能なゲートウェイのインストールとPowerBI.com からのBitbucket DSN への接続が必要です。

1. ゲートウェイのセットアップ

次の手順でマシン上にゲートウェイを設定します：

1. CData Power BI Connector インストーラーを起動します。Power BI Gateway のダウンロード も必要です。
2. on-premises data gateway (recommended) オプションを選択します。
3. ゲートウェイにサインインします。
4. ゲートウェイ名を設定し、Recovery Key を指定します。

5. ゲートウェイがCData Power BI Connector を見に行くフォルダを指定します。この記事では C:\Users\PBIEgwService\Documents\Power BI Desktop\Custom Connectors\ を使います。CData Connector の.pqx ファイル(C:\Users\USERNAME\Documents\Power BI Desktop\Custom Connectors\) を指定したフォルダに移します。

   NOTE: 指定されたサービスアカウント(NT SERVICE\PBIEgwService) は、ゲートウェイのアクセスフォルダに指定される必要があります。必要な場合には、ゲートウェイインストーラーのサービス設定で変更ができます。

6. コネクタセクションで、CData.PowerBI.Bitbucket が表示されていることを確認します。

Power BI データフロー からBitbucket データの利用

• Power BI サービスのゲートウェイの管理を開き、ゲートウェイクラスタにOnーPremises data gateway で作成したゲートウェイが追加されていることを確認します。「すべての接続をテスト」をクリックして「オンライン：準備が整いました。」が表示されていることを確認します。
• ワークスペースを開き、「＋作成 > データフロー 」を開きます。
• 「データフロー の作成を開始する」にて「新しいエンティティの定義」を選択します。
• データソース 一覧内の「ODBC」を選択します。
• ODBC の接続設定にて以下の通りセットして「次に」進みます。
  • ODBC接続文字列：　DSN = CData Power BI {データソース名} 　　※Power BI コネクタでカスタムコネクタとして登録しているデータソース のDSN 名をセットください
  • オンプレミスデータゲートウェイ：既に作成したゲートウェイを選択します
  • 認証の種類：匿名（データソース毎の認証設定は、ODBC のDSN 設定にて行います）
• 「PowerQuery - データの選択」画面に切り替わります。左側のエクスプローラで「ODBC > CData > {データソース名}」フォルダを開くとCData Power BI Connectors で接続しているデータソース のテーブルリストが表示されます。データを変換する対象テーブルを選択すると右側にプレビューが表示されます。「データの変換」ボタンをクリックして次に進みます。
• 「PowerQuery - クエリを編集」画面に切り替わるので必要に応じてデータ加工を行い「保存して閉じる」をクリックします。
• データフロー に任意の名称を付与して「保存」します。
• 作成したデータフロー は、ワークスペースの「データフロー」タブから確認できます。
• 作成したデータフロー に自動でデータを最新化するスケジュールを設定してみます。アクション列内の「更新のスケジュール設定」ボタンをクリックします。「設定」の「データフロー」タブが開きます。「スケジュールされている更新」を開き、「データを最新に保つ」をONにします。更新の頻度（本画面の例では、毎日朝6時）を設定して「適用」します。本設定で、毎朝6時に本データフロー内のデータが最新化される処理が自動で行われるようになります。

まとめ

Power BI データフローでデータ加工済みのデータを保存しておくことで、チームで本データフローのデータを利用したレポートを作成して共有するようなことが可能となります。CData Power BI Connectors 製品は製品ページ からダウンロードしてご利用いただけます。