IntelliJ からDatabricks のデータに連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for Databricks を使用することで、JDBC データソースとしてDatabricks にアクセスでき、IDE の迅速な開発ツールとの統合が可能になります。この記事では、データソース構成ウィザードを使用してIntelliJ のDatabricks に接続する方法を示します。

JBDC Data Source for Databricks の作成

以下のステップに従ってドライバーJAR を追加し、Databricks への接続に必要な接続プロパティを定義します。

1. ［Data Sources］ウィンドウで右クリックし、［Add Data Source］->［DB Data Source］と進みます。

2. 表示される［Data Source Properties］ダイアログでは、次のプロパティが必要です。

   • JDBC Driver Files:このメニューの隣にあるボタンをクリックし、インストールディレクトリのJDBC ドライバーファイル（cdata.jdbc.databricks.jar）を追加します。
   • JDBC Driver Class:このメニューで、リストからcdata.jdbc.databricks.Databricks ドライバーを選択します。

   • Database URL:JDBC URL プロパティで接続URL を入力します。URL は、jdbc:databricks: で始まり、セミコロンで区切られた接続プロパティが含まれています。

     Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。

     Note：Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

     • Database：Databricks データベース名に設定。
     • Server：Databricks クラスターのサーバーのホスト名に設定。
     • HTTPPath：Databricks クラスターのHTTP パスに設定。
     • Token：個人用アクセストークンに設定（この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます）。

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Databricks JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.databricks.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     以下は一般的なJDBC URL です。

     jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;

Databricks のデータの編集・保存

スキーマ情報を見つけるには、作成したデータソースを右クリックし、［Refresh Tables］をクリックします。 テーブルを右クリックし、［Open Tables Editor］をクリックして、テーブルをクエリします。 また、［Table Editor］でレコードを編集することもできます。