Apache Nifi からCSV のデータ連携を行う方法

こんにちは！テクニカルディレクターの桑島です。

Apache Nifiは、OSSのデータフローオーケストレーションツールです。Nifiでは、JDBCドライバで各種データソースに連携・接続することが可能です。 本記事では、 CData JDBC Driverを利用して、NifiからCSV からデータを取得してローカルファイルに出力するデータフローを作成します。

Nifi を起動

(注意)JAVA_HOMEが見つからない旨のメッセージが出た場合は、{nifi home}/bin/nifi-env.sh の下記部分をコメントアウトしてJDKパスを設定してください。

Nifi でのCSV設定手順

Nifi にブラウザからアクセスします。 http://localhost:8080/nifi/ でアクセスします。

DBConnectionPortを作成 します。NiFi Flow Configuration > CONTROLLER SERVICES を開き、DBCPConnectionPool 1.5.0を選択して追加します。 PROPERTIESタブを開き、下記の値を設定します。

Database Connection URL:下記の接続文字列を参照
Database Driver Class Name: cdata.jdbc.csv.CSVDriver
Database Driver Location(s): cdata.jdbc.csv.jar ファイルへのパス

一般的な接続文字列は以下です：
jdbc:csv:DataSource=MyCSVFilesFolder;

（注意）「Database Driver Location(s)」は環境に合わせたパスを設定ください。

SQL 実行とファイルアウトプットのデータフローの作成

ExecuteSQLとPutFileプロセッサを配置して、ExecuteSQLからPutFileへフローを接続します。

各プロセッサを開き、以下の通り、プロパティ値を設定して保存します。

ExecuteSQL

• Database Connection Pooling Service : 上記手順で作成したDBConnectionPortの名称
• SQL select query ：select * from Account

ExecuteSQL

• For Relationships : failure, success

FilePut

• Directory : /wrk/data/nifi/
• Automatically Terminate Relationships : failure, success

ExecuteSQLとPutFileプロセッサの実行

ExecuteSQLとPutFileプロセッサそれぞれを選択した状態で、Operate内のStart（再生ボタン）をクリックします。 プロセッサのにStart（緑の再生ボタン）アイコンが表示されることを確認てPutFile内のRead/Write内のByte数が変更したらStop（停止ボタン）をクリックします。

FilePutのDirectoryで指定したパスに移動してファイルが作成されていることを確認します。