Node.js からHDFS のデータをSQL Server データベースとしてクエリ
CData Connect AI を使用すると、SQL Server インターフェース経由でHDFS のデータをクエリできます。以下のステップに従って、Connect AI にHDFS の仮想データベースを作成し、Node.js を使用してクエリを実行します。
CData Connect AI は、HDFS のピュアMySQL かつクラウドベースのインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなくNode.js からの手軽なリアルタイムHDFS のデータクエリを実現します。Node.js でデータをクエリすると、CData Connect AI はサポートされているすべてのSQL 操作（フィルタ、JOIN など）を直接HDFS にプッシュし、サーバー側の処理を活用してHDFS のデータを高速で返します。
Connect AI からHDFS に接続する
CData Connect AI は直感的なクリック操作ベースのインターフェースを使ってデータソースに接続します。- Connect AI にログインし、 Add Connection をクリックします。
- Add Connection パネルから「HDFS」を選択します。
-
必要な認証情報を入力し、HDFS に接続します。
HDFS 接続プロパティの取得・設定方法
HDFS への認証には、次の接続プロパティを設定します。
- Host：HDFS インスタンスのホストに設定。
- Port：HDFS インスタンスのポートに設定。デフォルトのポートは"9870" です。
- Create & Test をクリックします。
- Edit HDFS Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。
パーソナルアクセストークンを追加する
OAuth 認証をサポートしないサービス、アプリケーション、プラットフォーム、フレームワークから接続する場合、パーソナルアクセストークン（PAT）を認証に使用できます。きめ細かくアクセスを管理するために、サービスごとに個別のPAT を作成するのがベストプラクティスです。
- User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
- PAT の名前を入力して Create をクリックします。
- パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。
- server：tds.cdata.com
- port：14333
- user：Connect AI ユーザー（例：[email protected]）
- password：上記のユーザーのPAT
- database：HDFS 用に構成した接続（HDFS1）
接続が設定されたら、Node.js からHDFS のデータに接続できるようになります。
Node.js からHDFS をクエリ
以下の例は、SQL Server モジュールを使用してHDFS へのクエリを実行する方法を説明しています。以下の情報が必要です。
以下のコードで、HDFS に接続してクエリが実行できます。
var sql = require('mssql')
var config = {
server: 'tds.cdata.com',
port:14333,
user: '[email protected]', //update me
password:'CONNECT_USER_PAT', //update me
options: {
encrypt: true,
database: 'HDFS1'
}
}
sql.connect(config, err => {
if(err){
throw err ;
}
new sql.Request().query('SELECT * FROM Files', (err, result) => {
console.dir(result)
})
});
sql.on('error', err => {
console.log("SQL Error: " ,err);
})