BigQuery JDBC Drivers のパフォーマンス比較

本資料で利用したドライバーは2019年6月時点の最新のドライバーを使用しています

BigQuery はGoogle 社のフルマネージド、ペタバイトスケール、低コストのエンタープライズ向けデータウェアハウスです。大容量データの保存およびアクセス、分析に大変便利で、多くの会社にとってクラウドベースのアナリティクスプラットフォームとしてGoogle BigQuery は試しやすい選択肢です。BigQuery はクラウドベースであり、データベース管理者や運用のためのインフラが不要です。

準備

本記事では、Google 社がサポートするJDBC Driver for Google BigQuery¹ とCData Software JDBC Driver for Google BigQuery² を大容量のデータセットをクエリするパフォーマンスを比較します。同様の結果を再現できるように、比較ではtlc_yellow_trips_2018 table from the new_york_taxi_trips dataset in the public bigquery-public-data project³ を使いました。

比較内容

tlc_yellow_trips_2018 テーブルの詳細は次のとおり:

この調査の目的は、ドライバーのパフォーマンスの比較であり、同じクエリセットをそれぞれのJDBC Driver で実行しました。それぞれのクエリで使用するデータセットサイズを変更するためにLIMIT クエリを使用しました。カラムはそれぞれのクエリで変更していません。

ベースとなるクエリ

SELECT 
  vendor_id, 
  passenger_count, 
  trip_distance, 
  rate_code, 
  store_and_fwd_flag, 
  payment_type, 
  fare_amount, 
  extra, 
  mta_tax, 
  tip_amount, 
  tolls_amount, 
  imp_surcharge, 
  total_amount, 
  pickup_location_id, 
  dropoff_location_id 
FROM 
  `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2018`

Limit by Query

1. LIMIT 100000
2. LIMIT 1000000
3. LIMIT 10000000

結果

テスト用にシンプルなJava アプリケーションからBigQuery に接続し、上記のクエリを繰り返し実行しました。結果をそれぞれ新しいstring 値として保存。次のチャートの実行時間の値はそれぞれのクエリの平均値（秒）です。

どのデータセットでも、CData Drivers はGoogle のDriver よりも17% 程度パフォーマンスが高いことが結果から読み取れます。

それぞれのクエリの平均実行時間は次のチャートをご覧ください：

Results for All Queries

まとめ

CData Driver のパフォーマンスはGoogle がサポートするドライバーより高パフォーマンスであり、しかも数字は前回の調査よりも改善しています。CData では、ユーザーの大容量データのクエリニーズに応えるため、ドライバーパフォーマンスの改善に引き続き努めます。

References

1. Google Drivers
2. CData JDBC Drivers
3. City of New York Taxi Trip Public Dataset

Related Articles

•  Google BigQuery: Million Row Challenge - We take on the challenge of using the CData JDBC Driver to upload one million rows in Google Big Query.