Node.js で Spark のデータを MySQL データベースとしてクエリ

Spark 用の ODBC Driver の SQL Gateway を使用すると、MySQL インターフェース経由でSpark のデータをクエリできます。以下の手順に従って、SQL Gateway の MySQL リモーティングサービスを起動し、Node.js からクエリを開始してください。

Spark のデータに接続

まだ行っていない場合は、データソース名（DSN）で必要な接続プロパティの値を指定してください。組み込みの Microsoft ODBC データソースアドミニストレーターを使用して DSN を設定できます。これはドライバーインストールの最後のステップでもあります。Microsoft ODBC データソースアドミニストレーターを使用して DSN を作成・設定する方法については、ヘルプドキュメントの「はじめに」の章を参照してください。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

• Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：SparkSQL インスタンスへの接続用のポートに設定。
• TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

• Server：Databricks クラスターのサーバーのホスト名に設定。
• Port：443
• TransportMode：HTTP
• HTTPPath：Databricks クラスターのHTTP パスに設定。
• UseSSL：True
• AuthScheme：PLAIN
• User：'token' に設定。
• Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

SQL Gateway を設定

SQL Gateway 概要を参照して、Spark のデータ を仮想 MySQL データベースとして接続を設定してください。クライアントからの MySQL リクエストをリッスンする MySQL リモーティングサービスを設定します。サービスは SQL Gateway UI で設定できます。

Node.js から Spark をクエリ

以下の例では、mysql モジュールを使用して Spark への接続を定義し、クエリを実行する方法を示しています。以下の情報が必要です。

• ホスト名またはアドレス、およびポート：MySQL リモーティングサービスが MySQL 接続をリッスンしているマシンとポート
• ユーザー名とパスワード：SQL Gateway の Users タブで認証したユーザーのユーザー名とパスワード
• データベース名：MySQL リモーティングサービス用に設定した DSN

以下のコードでSpark のデータに接続し、クエリの実行を開始できます。

var mysql      = require('mysql');
var connection = mysql.createConnection({
  host     : 'localhost',
  database : 'CData SparkSQL Sys',
  port	   : '3306',
  user     : 'mysql_user',
  password : 'test'
});
connection.connect();
connection.query('SELECT * FROM Customers', function(err, rows, fields) {
  if (err) throw err;
  console.log(rows);
});

connection.end();