Node.js からBigQuery のデータをクエリ

CData API Server とADO.NET Provider for GoogleBigQuery(もしくは250+ の他のADO.NET Providers)を使って、BigQuery をOData エンドポイントして公開し、Node.js からシンプルなHTTP リクエストでクエリを実現します。本記事ではAPI Server を使ってJSON でフォーマットされたBigQuery のデータをNode.js でリクエストする方法を説明します。

はじめに

---

API Server の設定

以下のリンクからAPI Server の無償トライアルをスタートしたら、セキュアなBigQuery OData サービスを作成していきましょう。

BigQuery への接続

NodeJS からBigQuery のデータを操作するには、まずBigQuery への接続を作成・設定します。

1. API Server にログインして、「Connections」をクリック、さらに「接続を追加」をクリックします。
2. 「接続を追加」をクリックして、データソースがAPI Server に事前にインストールされている場合は、一覧から「BigQuery」を選択します。
3. 事前にインストールされていない場合は、コネクタを追加していきます。コネクタ追加の手順は以下の記事にまとめてありますので、ご確認ください。
   CData コネクタの追加方法はこちら >>
4. それでは、BigQuery への接続設定を行っていきましょう！

5. BigQuery 接続プロパティの取得・設定方法

   Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

   OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

   OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

6. 接続情報の入力が完了したら、「保存およびテスト」をクリックします。

BigQuery 接続プロパティの取得・設定方法

Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

API Server のユーザー設定

次に、API Server 経由でBigQuery にアクセスするユーザーを作成します。「Users」ページでユーザーを追加・設定できます。やってみましょう。

1. 「Users」ページで ユーザーを追加をクリックすると、「ユーザーを追加」ポップアップが開きます。
2. 次に、「ロール」、「ユーザー名」、「権限」プロパティを設定し、「ユーザーを追加」をクリックします。
3. その後、ユーザーの認証トークンが生成されます。各ユーザーの認証トークンとその他の情報は「Users」ページで確認できます。

BigQuery 用のAPI エンドポイントの作成

ユーザーを作成したら、BigQuery のデータ用のAPI エンドポイントを作成していきます。

1. まず、「API」ページに移動し、 「 テーブルを追加」をクリックします。
2. アクセスしたい接続を選択し、次へをクリックします。
3. 接続を選択した状態で、各テーブルを選択して確認をクリックすることでエンドポイントを作成します。

OData のエンドポイントを取得

以上でBigQuery への接続を設定してユーザーを作成し、API Server でBigQuery データのAPI を追加しました。これで、OData 形式のBigQuery データをREST API で利用できます。API Server の「API」ページから、API のエンドポイントを表示およびコピーできます。

Node.js からBigQuery OData フィードを利用

OData フィードはNode.js で簡単に使用できます。Node.js のHTTP クライアントを使用して、API Server のOData エンドポイントからJSON 形式のデータをリクエストしていきましょう。リクエストを行った後、レスポンスの本文を作成し、JSON.parse() 関数を呼び出してレコードに解析できます。

以下のコードはOrders データに対して認証されたリクエストを行います。 以下のURL の例では、ShipCity カラムの値がNew York のレコードを検索する単純なフィルターを適用しています。

var http = require('http');
http.get({
  protocol: "http:",
  hostname:"MyServer.com",
  port:MyPort,
  path: "/api.rsc/Orders?$filter=" + encodeURIComponent("ShipCity eq 'New York'"),
  auth:'MyUser:MyAuthtoken'
},
function(res) {
  var body = '';
  res.on('data', function(chunk) {
    body += chunk;
  });
  res.on('end', function() {
    console.log(body);
    var jsonData = JSON.parse(body);
  });
}).on('error', function(e) {
  console.log("Error: ", e);
});