CData JDBC Driver for BigQuery で Ignition SCADA と連携
Ignition は、Inductive Automation 社が提供する産業用の SCADA(監視制御およびデータ収集)および IIoT(産業用モノのインターネット)プラットフォームです。中核となる Gateway サービスが、デバイス接続やタグ、データベース接続を一元的に管理します。ただし、Ignition には BigQuery 用のコネクタが標準で用意されていません。そのため、BigQuery のデータを扱うには、独自のミドルウェアを用意するか、手作業でデータをエクスポートするのが一般的です。
CData JDBC Driver for BigQuery を使えば、この課題を解消できます。このドライバーは、BigQuery を標準的な JDBC(Java Database Connectivity)データソースとして利用できるようにするものです。Ignition はどの JDBC ドライバーも標準のデータベース接続として扱えるため、Gateway にドライバーを登録するだけで、Script Console や SQL Bridge、タグ、Perspective / Vision の画面からリアルタイムの BigQuery データをクエリできます。レプリケーションや独自コネクタ、ETL(抽出・変換・ロード)パイプラインは必要ありません。
この記事では、Ignition のインストールとコミッショニングから、CData JDBC Driver for BigQuery の登録、接続の作成、リアルタイムクエリによる動作確認までの流れを順を追って紹介します。
前提条件
- Windows 版 Ignition(Windows 10/11 または Windows Server)と、Windows サービスをインストールするための管理者権限
- CData JDBC Driver for Google BigQuery
- 有効な認証情報を持ち、API アクセスが有効化された BigQuery アカウント
- Gateway の Web インターフェースを開くための対応デスクトップブラウザ(Google Chrome、Mozilla Firefox、Microsoft Edge、Safari のいずれか)
BigQuery とのデータ連携について
CData は、Google BigQuery のリアルタイムデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
- BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
- SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。
多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のデータソースから業務データを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。
関連リンク
ステップ 1:Ignition のインストールとセットアップ
Ignition をすでにインストールして稼働させている場合は、ステップ 2 に進んでください。
Ignition のダウンロード
-
Inductive Automation のダウンロードページにアクセスし、Windows 版の Ignition をダウンロードします。
- このファイルひとつで Ignition Gateway のフルインストーラーになっています。Gateway サービスと Designer Launcher の両方が含まれているので、Designer を別途ダウンロードする必要はありません。
Ignition のインストール
- インストーラーを実行し、ライセンス契約に同意してインストール先を選択します。
- Windows の起動時に Gateway も自動で起動するよう、Install as a Windows Service にはチェックを入れたままにしておきます。
- インストールを完了すると Gateway サービスが起動し、ブラウザで http://localhost:8088 が開いてコミッショニングウィザードが表示されます。Browser Not Supported と表示された場合は、Chrome、Firefox、Edge、Safari のいずれかで同じアドレスを開いてください。
Gateway のコミッショニング
- Commission Ignition Gateway ウィザードで Gateway Name を設定し、管理者のユーザー名とパスワードを作成します。
- エンドユーザー使用許諾契約に同意し、トライアルを開始するか、購入済みの Ignition ライセンスをアクティベートします。
-
コミッショニングが完了したら、管理者アカウントでログインします。Gateway の Home ページが表示されます。
注意: トライアル版では Gateway の各ページにカウントダウンタイマーが表示され、Gateway サービスを再起動するとタイマーがリセットされます。テスト用途であれば問題ありませんが、本番環境で利用する場合はライセンスが必要です。
ステップ 2:Ignition への CData JDBC Driver の登録
Ignition では、サードパーティ製の JDBC ドライバーを Gateway の Web インターフェースからアップロードできます。ファイルシステムを直接操作する必要はありません。
- 管理者として Gateway にログインします。
- Connections > Databases > Settings に移動して Drivers タブを開き、Create JDBC Driver をクリックします。
-
ダイアログで次の内容を入力します。
- Name: BigQuery
- Classname: cdata.jdbc.googlebigquery.GoogleBigQueryDriver
- Driver Type: Generic
- Default Validation Query: SELECT OrderName FROM Orders LIMIT 1
- Create JDBC Driver をクリックします。現行の Ignition 8.3 では作成ダイアログに JAR(Java アーカイブ)ファイルのアップロード欄がないため、JAR ファイルは次の手順で追加します。
- 作成したドライバーの行の右端にあるメニューを開いて Manage JAR files を選択し、ドライバーのインストールディレクトリ内の lib フォルダにある cdata.jdbc.googlebigquery.jar をアップロードして保存します。
-
ドライバー一覧で、ドライバーのステータスが INSTALLED になっていることを確認します。
ステップ 3:BigQuery への接続の作成
- Connections > Databases > Connections に移動し、Create Database Connection をクリックします。
-
Driver Selection ステップで BigQuery を選択し、Next をクリックします。
- Database Setup ステップで、Name に BigQuery を設定します。認証情報は接続 URL に含めるため、Username は空欄のままにし、Password は None を選択します。
-
Connect URL に接続文字列を入力します。
jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;
-
Create Database Connection をクリックし、Database Connections ページで接続のステータスが VALID になっていることを確認します。
BigQuery の接続プロパティ
BigQuery 接続プロパティの取得・設定方法
Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。
OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスアカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。
OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。
注意: パスワードやトークンにセミコロンが含まれていると接続 URL が正しく解釈されません。その場合は、セミコロンを含まない値に再設定してください。
ステップ 4:Ignition からリアルタイムの BigQuery データをクエリ
接続が有効になったら、Designer からリアルタイムの BigQuery データをクエリしてみましょう。
-
Ignition Designer Launcher を開き、使用する Gateway を選択して Open Designer をクリックします(一覧に Gateway が表示されていない場合は、Add Designer をクリックして http://localhost:8088 を入力します)。Gateway の管理者アカウントでログインしてください。
-
プロジェクトを開くか、新規に作成します。Designer が開き、Project Browser、Tag Browser、Component Palette の各パネルが表示されます。
-
Designer で Tools > Script Console に移動します。Multiline Buffer にテストクエリを入力し、Execute をクリックします。Orders の部分は、BigQuery 接続で利用可能な任意のテーブルに置き換えてください。
print system.db.runQuery( "SELECT OrderName, Freight FROM Orders LIMIT 10", "BigQuery")
- クエリが成功すると、Interactive Interpreter パネルに PyDataset rows:10 cols:2 と出力されます。これで、Ignition が CData JDBC Driver を介して BigQuery からリアルタイムデータを取得できたことを確認できます。
注意: スクリプト内の接続名は、ステップ 3 で設定した接続名と一致させる必要があります。
ステップ 5:結果の検証
-
取得した行を出力し、BigQuery 上の同じレコードと値を照合します。
ds = system.db.runQuery("SELECT OrderName, Freight FROM Orders LIMIT 10", "BigQuery") for row in ds: print row["OrderName"], row["Freight"] - 必要に応じて、別のテーブルへのクエリやフィルタ付きのクエリも実行し、スキーマの検出とフィルタリングが正しく機能することを確認します。
- 必要に応じて Gateway サービスを再起動し、接続のステータスが VALID に戻ることを確認します。
トラブルシューティング
| 症状 | 考えられる原因と対処法 |
|---|---|
| ドライバーのステータスが ERROR になる | クラス名が間違っているか、Manage JAR files から JAR ファイルがアップロードされていません。 |
| 接続のステータスが FAULTED になる | 認証情報が間違っている、外部への Web 通信(HTTPS)がブロックされている、または CData のライセンスが見つからないことが考えられます。ステータスをクリックしてエラー内容を確認してください。 |
| 「Could not find a valid license」エラーが表示される | Gateway は Windows サービスとして実行されているため、ユーザープロファイルに保存されたライセンスを読み取れません。管理者権限のコマンドプロンプトでドライバーの lib フォルダに移動して java -jar cdata.jdbc.googlebigquery.jar --license を実行し、生成された .lic ファイルを C:\Windows\system32\config\systemprofile\.CData\ にコピーしてから、Gateway サービスを再起動してください。 |
| データベース接続が見つからない | スクリプト内の接続名が、Gateway の接続名と完全には一致していません。 |
Ignition 以外の環境でのドライバーのテスト
Gateway とは切り離してドライバー単体の動作を確認したい場合は、次のスタンドアロンの Java サンプルを実行してみてください。cdata.jdbc.googlebigquery.jar と cdata.jdbc.googlebigquery.lic は同じディレクトリに配置し、クラスパスに含めておく必要があります。
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
public class CDataExample {
public static void main(String[] args) throws Exception {
Class.forName("cdata.jdbc.googlebigquery.GoogleBigQueryDriver");
String connectionString = "jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;";
try (Connection conn = DriverManager.getConnection(connectionString)) {
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("SELECT OrderName, Freight FROM Orders LIMIT 10");
while (rs.next()) {
System.out.println(rs.getString("OrderName") + ", " + rs.getString("Freight"));
}
}
}
}
CData で Ignition にリアルタイムかつガバナンスの効いた BigQuery 連携を
CData JDBC Driver for Google BigQuery を登録すれば、ETL 基盤や手作業でのエクスポート、独自の連携コードを用意することなく、Ignition からリアルタイムの BigQuery データをクエリできます。同じ接続をタグや SQL Bridge、Perspective / Vision の画面でも再利用できます。
無料トライアルで、CData を使って Ignition から数百もの外部システムへリアルタイムかつセキュアにアクセスできることを、ぜひお確かめください。