Apache NiFi で JSON に接続

Dibyendu Datta
Lead Technology Evangelist

CData JDBC Driver を使用して Apache NiFi で JSON services にアクセスして処理できます。

Apache NiFi は、強力かつスケーラブルなデータルーティング、変換、システム間連携ロジックの有向グラフをサポートしています。CData JDBC Driver for JSON と組み合わせることで、NiFi からリアルタイムのJSON services を操作できます。この記事では、Apache NiFi Flow からJSON services に接続してクエリを実行する方法を説明します。

CData JDBC Driver は、最適化されたデータ処理機能が組み込まれており、リアルタイムのJSON services とのやり取りにおいて比類のないパフォーマンスを提供します。複雑なSQL クエリをJSON に発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接JSON にプッシュし、サポートされていない操作（多くの場合SQL 関数やJOIN 操作）は組み込みのSQL エンジンでクライアント側に処理します。また、組み込みの動的メタデータクエリにより、ネイティブのデータ型を使用してJSON services を操作・分析できます。

Apache NiFi でJSON Services に接続

CData JDBC Driver for JSON のインストーラーをダウンロードし、パッケージを解凍して、.exe ファイルを実行してドライバーをインストールします。
CData JDBC Driver のJAR ファイル（およびライセンスファイルがある場合はそれも）、cdata.jdbc.json.jar（および cdata.jdbc.json.lic）を Apache NiFi の lib サブフォルダにコピーします（例：C:\nifi-1.3.0-bin\nifi-1.3.0\lib）。

Windows では、CData JDBC Driver のデフォルトのインストール場所は C:\Program Files\CData\CData JDBC Driver for JSON です。
bin サブフォルダにある run-nifi.bat ファイルを実行して Apache NiFi を起動します（例：C:\nifi-1.3.0-bin\nifi-1.3.0\bin）。

（または）

コマンドプロンプトで対象のディレクトリに移動し、run-nifi.bat ファイルを実行します：
```
cd C:\nifi-1.3.0-bin\nifi-1.3.0\bin
.\run-nifi.bat
```
Web ブラウザで Apache NiFi の UI に移動します：https://localhost:8443/nifi でアクセスできます。

注意：古いバージョンの Apache NiFi を使用している場合は、http://localhost:8080/nifi からアクセスする必要があります。以前のバージョンでは HTTP プロトコルが使用されていましたが、最新バージョンでは HTTPS が標準になっています。デフォルトでは、HTTP はポート 8080 で動作し、HTTPS はポート 8443 を使用します。
URL から Apache NiFi にアクセスすると、ログイン用のユーザー名とパスワードの入力を求められます。

ログイン資格情報を取得するには、NiFi のインストールディレクトリ内の log ディレクトリにある「App.log」ファイルを確認してください。このファイルには通常、NiFi インターフェースにアクセスするために必要な情報が含まれています。
NiFi Flow のワークスペースを右クリックし、「Controller Services」をクリックします。
ボタンをクリックして、新しいコントローラーサービスを作成します。
Controller Services セクションで、新しく作成した「DBCPConnection Pool」を見つけ、メニュー（）から「Edit」をクリックして新しい接続を設定します。
以下のプロパティを入力します：
- Database Connection URL：jdbc:json:URI=C:/people.json;DataModel=Relational;
- Database Driver Class Name：cdata.jdbc.json.JSONDriver
- Database Driver Location(s)：Apache NiFi の lib フォルダへのパス（JAR ファイルが配置されている場所）。
組み込みの接続文字列デザイナー

JDBC URL の構築には、JSON JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。
```
java -jar cdata.jdbc.json.jar
```
接続プロパティを入力し、接続文字列をクリップボードにコピーします。

データソースへの認証については、ヘルプドキュメントの「はじめに」を参照してください。CData 製品は、JSON API を双方向データベーステーブルとして、JSON ファイルを読み取り専用ビュー（ローカルファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）としてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。詳細はヘルプドキュメントの「はじめに」を参照してください。

URI を設定して認証値を入力したら、DataModel を設定してデータ表現とデータ構造をより厳密に一致させます。

DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、次の基本設定を切り替えます。
- Document（デフォルト）：JSON データのトップレベルのドキュメントビューをモデル化します。CData 製品は、ネストされたオブジェクト配列を集約されたJSON オブジェクトとして返します。
- FlattenedDocuments：ネストされた配列オブジェクトと親オブジェクトを、単一テーブルに暗黙的に結合します。
- Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれています。
リレーショナル表現の設定についての詳細は、ヘルプドキュメントの「JSON データのモデリング」を参照してください。また、以下の例で使用されているサンプルデータも確認できます。データには人や所有する車、それらの車に行われたさまざまなメンテナンスサービスのエントリが含まれています。

Amazon S3 内のJSON への接続

URI をバケット内のJSON ドキュメントに設定します。さらに、次のプロパティを設定して認証します。
- AWSAccessKey：AWS アクセスキー（username）に設定。
- AWSSecretKey：AWS シークレットキーに設定。
Box 内のJSON への接続

URI をJSON ファイルへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。認証方法については、Box への接続を参照してください。

Dropbox 内のJSON への接続

URI をJSON ファイルへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。認証方法については、Dropbox への接続を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。 URI=dropbox://folder1/file.json; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

SharePoint Online SOAP 内のJSON への接続

URI をJSON ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

SharePoint Online REST 内のJSON への接続

URI をJSON ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。認証するには、OAuth 認証標準を使用します。

FTP 内のJSON への接続

URI をJSON ファイルへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

Google Drive 内のJSON への接続

デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。
Controller Services セクションで、新しく作成した DBCPConnection Pool を見つけ、メニュー（）から「Enable」をクリックして新しい接続を有効にします。
「Enable Controller Service」ウィンドウで、Scope を「Service and referencing components」に設定します。
接続を確立し、SELECT クエリを実行するには、プロセッサー（黄色でハイライトされている部分）をワークスペースにドラッグ＆ドロップします。
「ExecuteSQL」プロセッサーを選択し、「Add」ボタンをクリックしてワークスペースに表示させます。
追加したプロセッサー（ExecuteSQL）をダブルクリックして、接続ページを開きます。
Properties セクションで、必要な情報を入力します。Database Connection Pooling Service を作成した DBCPConnectionPool に一致させ、SQL select query セクションに実行したい SQL クエリを設定してください。
Relationships に移動し、実行プロセスの成功時と失敗時にコンポーネントがどのように処理を進めるかのオプションを選択してください。
ExecuteSQL コンポーネントを有効にするには、それを選択して Operation セクションの「Enable」をクリックするか、右クリックして「Enable」を選択します。