AWS Lambda でリアルタイムJSON Servicesにアクセス（IntelliJ IDEA を使用）

Dibyendu Datta
Dibyendu Datta
Lead Technology Evangelist
IntelliJ IDEA と CData JDBC Driver を使用して、AWS Lambda からリアルタイムJSON servicesに接続。

AWS Lambda は、新しい情報やイベントに素早く応答するアプリケーションを構築できるコンピューティングサービスです。CData JDBC Driver for JSON と組み合わせることで、AWS Lambda 関数からリアルタイムJSON servicesを操作できます。この記事では、IntelliJ で Maven を使用して AWS Lambda 関数を構築し、JSON servicesに接続してクエリを実行する方法を説明します。

最適化されたデータ処理機能を組み込んだ CData JDBC ドライバは、リアルタイムJSON servicesとのインタラクションにおいて卓越したパフォーマンスを発揮します。JSON に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接JSONにプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。さらに、動的メタデータクエリ機能により、ネイティブのデータ型を使用してJSON servicesの操作・分析が可能です。

ステップ1：接続プロパティの設定と接続文字列の構築

CData JDBC Driver for JSON のインストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。次に、必要な接続プロパティを収集します。

データソースへの認証については、ヘルプドキュメントの「はじめに」を参照してください。CData 製品は、JSON API を双方向データベーステーブルとして、JSON ファイルを読み取り専用ビュー（ローカル ファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）としてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。詳細はヘルプドキュメントの「はじめに」を参照してください。

URI を設定して認証値を入力したら、DataModel を設定してデータ表現とデータ構造をより厳密に一致させます。

DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、次の基本設定を切り替えます。

  • Document（デフォルト）：JSON データのトップレベルのドキュメントビューをモデル化します。CData 製品 は、ネストされたオブジェクト配列を集約されたJSON オブジェクトとして返します。
  • FlattenedDocuments：ネストされた配列オブジェクトと親オブジェクトを、単一テーブルに暗黙的に結合します。
  • Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれています。

リレーショナル表現の設定についての詳細は、ヘルプドキュメントの「JSON データのモデリング」を参照してください。また、以下の例で使用されているサンプルデータも確認できます。データには人や所有する車、それらの車に行われたさまざまなメンテナンスサービスのエントリが含まれています。

Amazon S3 内のJSON への接続

URI をバケット内のJSON ドキュメントに設定します。さらに、次のプロパティを設定して認証します。

  • AWSAccessKey：AWS アクセスキー（username）に設定。
  • AWSSecretKey：AWS シークレットキーに設定。

Box 内のJSON への接続

URI をJSON ファイルへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。 認証方法については、Box への接続 を参照してください。

Dropbox 内のJSON への接続

URI をJSON ファイルへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。 認証方法については、Dropbox への接続 を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。 URI=dropbox://folder1/file.json; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

SharePoint Online SOAP 内のJSON への接続

URI をJSON ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

SharePoint Online REST 内のJSON への接続

URI をJSON ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。 認証するには、OAuth 認証標準を使用します。

FTP 内のJSON への接続

URI をJSON ファイルへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

Google Drive 内のJSON への接続

デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

NOTE: AWS Lambda 関数で JDBC ドライバーを使用するには、ライセンス（製品版または試用版）とランタイムキー（RTK）が必要です。ライセンス（または試用版）の取得については、弊社営業チームまでお問い合わせください。

組み込みの接続文字列デザイナー

JDBC URL の構築には、JSON JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.json.jar

接続プロパティ（RTK を含む）を入力し、接続文字列をクリップボードにコピーします。

ステップ2：IntelliJ でプロジェクトを作成

  1. IntelliJ IDEA で「New Project」をクリックします。
  2. Generators から「Maven Archetype」を選択します。
  3. プロジェクトに名前を付け、Archetype として「maven.archetypes:maven-archetype-quickstart」を選択します。
  4. 「Create」をクリックします。

CData JDBC Driver for JSON JAR ファイルのインストール

プロジェクトのルートフォルダから以下の Maven コマンドを実行して、JAR ファイルをプロジェクトにインストールします。

mvn install:install-file -Dfile="PATH/TO/CData JDBC Driver for JSON 20XX/lib/cdata.jdbc.json.jar" -DgroupId="org.cdata.connectors" -DartifactId="cdata-json-connector" -Dversion="23" -Dpackaging=jar

依存関係の追加

Maven プロジェクトの pom.xml ファイル内で、AWS とCData JDBC Driver for JSONを依存関係として追加します（<dependencies> 要素内に以下の XML を追加）。

  • AWS 
    <dependency>
   <groupId>com.amazonaws</groupId>
   <artifactId>aws-lambda-java-core</artifactId>
   <version>1.2.2</version> <!--Replace with the actual version-->
</dependency>
  • CData JDBC Driver for JSON 
    <dependency>
   <groupId>org.cdata.connectors</groupId>
   <artifactId>cdata-json-connector</artifactId>
   <version>25</version> <!--Replace with the actual version-->
</dependency>
  • Fat JAR 作成用の Maven Shade Plugin 
    <build>
  <plugins>
    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-shade-plugin</artifactId>
      <version>3.4.1</version>
      <executions>
        <execution>
          <phase>package</phase>
          <goals>
            <goal>shade</goal>
          </goals>
          <configuration>
            <createDependencyReducedPom>false</createDependencyReducedPom>
            <transformers>
              <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                <mainClass>com.example.CDataLambda</mainClass>
                  <!-- Change to your actual Lambda handler class -->
              </transformer>
            </transformers>
          </configuration>
        </execution>
      </executions>
    </plugin>
  </plugins>
</build>

AWS Lambda 関数の作成

このサンプルプロジェクトでは、CDataLambda.java と CDataLambdaTest.java の2つのソースファイルを作成します。

Lambda 関数の定義

  1. CDataLambda クラスを AWS Lambda SDK の RequestHandler インターフェースを実装するように更新します。handleRequest メソッドを追加する必要があります。このメソッドは、Lambda 関数がトリガーされたときに以下のタスクを実行します：
    1. 入力を使用して SQL クエリを構築
    2. CData JDBC Driver for JSON を登録
    3. JDBC を使用してJSONへの接続を確立
    4. JSON で SQL クエリを実行
    5. 結果をコンソールに出力
    6. 出力メッセージを返す

  2. 以下の完全な Lambda クラスを使用してください。インポート、クラス定義、handleRequest メソッドが含まれています。DriverManager.getConnection 呼び出し内の接続文字列値は、実際の値に置き換えてください。 

    package com.example;

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.RequestHandler;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
import java.sql.SQLException;
import java.sql.Statement;
public class CDataLambda implements RequestHandler < Object, String > {

  @Override
  public String handleRequest(Object input, Context context) {
    String query = "SELECT * FROM " + input;

    String bucketName = "MY_AWS_BUCKET";
    try {
      Class.forName("cdata.jdbc.json.JSONDriver");
      cdata.jdbc.json.JSONDriver driver = new cdata.jdbc.json.JSONDriver();
      DriverManager.registerDriver(driver);
    } catch (SQLException ex) {
      // Registering the driver failed
      throw new RuntimeException("Failed to register JDBC driver", ex);
    } catch (ClassNotFoundException e) {
      // The driver class was not found in the classpath
      throw new RuntimeException("JDBC Driver class not found", e);

    }
    Connection connection = null;
    try {
      connection = DriverManager.getConnection("jdbc:cdata:json:RTK=52465...;URI=C:/people.json;DataModel=Relational;");
    } catch (SQLException ex) {
      context.getLogger().log("Error getting connection: " + ex.getMessage());
    } catch (Exception ex) {
      context.getLogger().log("Error: " + ex.getMessage());
    }

    if (connection != null) {
      context.getLogger().log("Connected Successfully!
");
    }

    ResultSet resultSet = null;
    try {
      //executing query
      Statement stmt = connection.createStatement();
      resultSet = stmt.executeQuery(query);

      ResultSetMetaData metaData = resultSet.getMetaData();
      int numCols = metaData.getColumnCount();

      //printing the results
      while (resultSet.next()) {
        for (int i = 1; i <= numCols; i++) {
          System.out.printf("%-25s", (resultSet.getObject(i) != null) ? resultSet.getObject(i).toString().replaceAll("
", "") : null);
        }
        System.out.print("
");
      }
    } catch (SQLException ex) {
      System.out.println("SQL Exception: " + ex.getMessage());
    } catch (Exception ex) {
      System.out.println("General exception: " + ex.getMessage());
    }
    return "v24 query: " + query + " complete";
  }
}

ステップ3：Lambda 関数のデプロイと実行

IntelliJ で関数をビルドしたら、Maven プロジェクト全体を単一の JAR ファイルとしてデプロイする準備が整います。

  1. IntelliJ で mvn install コマンドを使用して SNAPSHOT JAR ファイルをビルドします。

    Note: Maven Shade Plugin は target フォルダに2つの JAR を生成します。AWS Lambda には常に、すべての必要な依存関係を含むサイズの大きい -shaded.jar ファイルをアップロードしてください。

  2. AWS Lambda で新しい関数を作成します（または既存の関数を開きます）。
  3. 関数に名前を付け、IAM ロールを選択し、タイムアウト値を関数が完了するのに十分な値に設定します（クエリの結果サイズによって異なります）。
  4. 「Upload from」->「.zip file」をクリックし、SNAPSHOT JAR ファイルを選択します。
  5. 「Runtime settings」セクションで「Edit」をクリックし、Handler を handleRequest メソッドに設定します（例：package.class::handleRequest）。
  6. これで関数をテストできます。「Event JSON」フィールドにテーブル名を設定し、「Test」をクリックします。

無償トライアル・詳細情報

CData JDBC Driver for JSON の30日間の無償トライアルをダウンロードして、AWS Lambda でリアルタイムJSON servicesを活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか？

JSON Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

JSON Icon JSON JDBC Driver お問い合わせ

JSON Web サービス連携のパワフルなJava アプリケーションを素早く作成して配布。

この記事の内容

関連記事