Apache NiFi で Linear に接続

Dibyendu Datta
Dibyendu Datta
Lead Technology Evangelist
CData JDBC Driver を使用して Apache NiFi で Linear のデータ にアクセスして処理できます。

Apache NiFi は、強力かつスケーラブルなデータルーティング、変換、システム間連携ロジックの有向グラフをサポートしています。CData JDBC Driver for Linear と組み合わせることで、NiFi からリアルタイムのLinear のデータ を操作できます。この記事では、Apache NiFi Flow からLinear のデータ に接続してクエリを実行する方法を説明します。

CData JDBC Driver は、最適化されたデータ処理機能が組み込まれており、リアルタイムのLinear のデータ とのやり取りにおいて比類のないパフォーマンスを提供します。複雑なSQL クエリをLinear に発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接Linear にプッシュし、サポートされていない操作(多くの場合SQL 関数やJOIN 操作)は組み込みのSQL エンジンでクライアント側に処理します。また、組み込みの動的メタデータクエリにより、ネイティブのデータ型を使用してLinear のデータ を操作・分析できます。

Apache NiFi でLinear のデータ に接続

  1. CData JDBC Driver for Linear のインストーラーをダウンロードし、パッケージを解凍して、.exe ファイルを実行してドライバーをインストールします。
  2. CData JDBC Driver のJAR ファイル(およびライセンスファイルがある場合はそれも)、cdata.jdbc.linear.jar(および cdata.jdbc.linear.lic)を Apache NiFi の lib サブフォルダにコピーします(例:C:\nifi-1.3.0-bin\nifi-1.3.0\lib)。

    Windows では、CData JDBC Driver のデフォルトのインストール場所は C:\Program Files\CData\CData JDBC Driver for Linear です。

  3. bin サブフォルダにある run-nifi.bat ファイルを実行して Apache NiFi を起動します(例:C:\nifi-1.3.0-bin\nifi-1.3.0\bin)。

    (または)

    コマンドプロンプトで対象のディレクトリに移動し、run-nifi.bat ファイルを実行します:

    cd C:\nifi-1.3.0-bin\nifi-1.3.0\bin
    .\run-nifi.bat
    
  4. Web ブラウザで Apache NiFi の UI に移動します:https://localhost:8443/nifi でアクセスできます。

    注意:古いバージョンの Apache NiFi を使用している場合は、http://localhost:8080/nifi からアクセスする必要があります。以前のバージョンでは HTTP プロトコルが使用されていましたが、最新バージョンでは HTTPS が標準になっています。デフォルトでは、HTTP はポート 8080 で動作し、HTTPS はポート 8443 を使用します。

  5. URL から Apache NiFi にアクセスすると、ログイン用のユーザー名とパスワードの入力を求められます。

    ログイン用のユーザー名とパスワードを入力

    ログイン資格情報を取得するには、NiFi のインストールディレクトリ内の log ディレクトリにある「App.log」ファイルを確認してください。このファイルには通常、NiFi インターフェースにアクセスするために必要な情報が含まれています。

    App.log ファイルからログイン資格情報を取得
  6. NiFi Flow のワークスペースを右クリックし、「Controller Services」をクリックします。 Process Group の設定
  7. ボタンをクリックして、新しいコントローラーサービスを作成します。 新しい Controller Service の作成
  8. Controller Services セクションで、新しく作成した「DBCPConnection Pool」を見つけ、メニュー()から「Edit」をクリックして新しい接続を設定します。 新しい DBCPConnection Pool の設定
  9. 以下のプロパティを入力します:

    • Database Connection URL:jdbc:linear:AuthScheme=APIKey;APIKey=myAPIKey;
    • Database Driver Class Name:cdata.jdbc.linear.LinearDriver
    • Database Driver Location(s):Apache NiFi の lib フォルダへのパス(JAR ファイルが配置されている場所)。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、Linear JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

    
    java -jar cdata.jdbc.linear.jar
    

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    Linear への認証には、個人用 API キーまたは OAuth 2.0 を使用できます。ご自身の Linear アカウントで接続する場合は、API キーを使うのが最も手軽です。

    API キーによる認証

    以下の接続プロパティを設定します。

    • AuthScheme:APIKey に設定します。
    • APIKey:Linear の個人用 API キー。

    個人用 API キーを作成するには、Linear にログインして Settings > Security & access > Personal API keys を開き、New API key を選択して作成します。キーは一度しか表示されないため、すぐにコピーしておきましょう。

    OAuth による認証

    OAuth を使用するには、Linear にカスタム OAuth アプリケーションを登録する必要があります(Settings > API > OAuth applications)。登録すると OAuthClientId と OAuthClientSecret が発行されます。対応しているフローは以下の 2 つです。

    • Authorization code:AuthScheme を OAuth、InitiateOAuth を GETANDREFRESH に設定し、OAuthClientId、OAuthClientSecret、およびアプリケーションで定義した CallbackURL(例:http://localhost:33333)を指定します。ドライバーがブラウザで Linear を開くので、アクセスを許可してください。
    • Client credentials:AuthScheme を OAuthClient に設定し、OAuthClientId と OAuthClientSecret を指定します。アプリケーション自体を認証するためブラウザ操作は不要で、マシン間(M2M)連携に適しています。

    デフォルトでは、ドライバーは read,write スコープをリクエストします。アクセストークンは有効期限が切れると自動で更新されます。

    組み込みの接続文字列デザイナーを使用して JDBC URL を生成(Salesforce の例)
  10. Controller Services セクションで、新しく作成した DBCPConnection Pool を見つけ、メニュー()から「Enable」をクリックして新しい接続を有効にします。
  11. 「Enable Controller Service」ウィンドウで、Scope を「Service and referencing components」に設定します。 Controller Service のスコープ設定
  12. 接続を確立し、SELECT クエリを実行するには、プロセッサー(黄色でハイライトされている部分)をワークスペースにドラッグ&ドロップします。 接続を確立し、SELECT クエリを実行
  13. 「ExecuteSQL」プロセッサーを選択し、「Add」ボタンをクリックしてワークスペースに表示させます。
  14. 追加したプロセッサー(ExecuteSQL)をダブルクリックして、接続ページを開きます。 ExecuteSQL プロセッサーをクリックして接続ページを表示
  15. Properties セクションで、必要な情報を入力します。Database Connection Pooling Service を作成した DBCPConnectionPool に一致させ、SQL select query セクションに実行したい SQL クエリを設定してください。 接続の確認とテスト
  16. Relationships に移動し、実行プロセスの成功時と失敗時にコンポーネントがどのように処理を進めるかのオプションを選択してください。 接続の適用
  17. ExecuteSQL コンポーネントを有効にするには、それを選択して Operation セクションの「Enable」をクリックするか、右クリックして「Enable」を選択します。 稲妻ボタンをクリック

これでLinear のデータ が Apache NiFi で使用できるようになりました。たとえば、DBCPConnection Pool を QueryDatabaseTable プロセッサーのソースとして使用できます(以下に表示)。

Linear のデータ にアクセスするための QueryDatabaseTable プロセッサーの設定

30日間の無料トライアルをダウンロードして、Apache NiFi でリアルタイムのLinear のデータ を操作してみてください。ご不明な点は、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか?

Linear Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Linear Icon Linear JDBC Driver

Linear 連携のパワフルなJava/J2EE アプリケーションを素早く作成して配布。