AWS Lambda でリアルタイムCSV のデータにアクセス

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CData JDBC Driver を使用して、AWS Lambda からリアルタイムCSV のデータに接続。

AWS Lambda は、新しい情報やイベントに素早く応答するアプリケーションを構築できるコンピューティングサービスです。CData JDBC Driver for CSV と組み合わせることで、AWS Lambda 関数からリアルタイムCSV のデータを操作できます。この記事では、Eclipse で構築した AWS Lambda 関数からCSV のデータに接続してクエリを実行する方法を説明します。

なお、この記事の執筆時点（2022年6月）では、AWS Toolkit for Eclipse がサポートする最新バージョンは Eclipse 2019-12 および Java 8 となっています。

最適化されたデータ処理機能を組み込んだ CData JDBC ドライバは、リアルタイムCSV のデータとのインタラクションにおいて卓越したパフォーマンスを発揮します。CSV に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接CSVにプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。さらに、動的メタデータクエリ機能により、ネイティブのデータ型を使用してCSV のデータの操作・分析が可能です。

接続プロパティの設定と接続文字列の構築

CSV 接続プロパティの取得・設定方法

DataSource プロパティにローカルフォルダ名を設定します。

.csv、.tab、.txt ではない拡張子のファイルを扱う場合には、IncludeFiles 使用する拡張子をカンマ区切りで設定します。Microsoft Jet OLE DB 4.0 driver 準拠の場合にはExtended Properties を設定することができます。別の方法として、Schema.ini ファイルにファイル形式を記述することも可能です。

CSV ファイルの削除や更新を行う場合には、UseRowNumbers をTRUE に設定します。RowNumber はテーブルKey として扱われます。

Amazon S3 内のCSV への接続

URI をバケットおよびフォルダに設定します。さらに、次のプロパティを設定して認証します。

  • AWSAccessKey：AWS アクセスキー（username）に設定。
  • AWSSecretKey：AWS シークレットキーに設定。

Box 内のCSV への接続

URI をCSV ファイルを含むフォルダへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。 認証方法については、Box への接続 を参照してください。

Dropbox 内のCSV への接続

URI をCSV ファイルを含むフォルダへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。 認証方法については、Dropbox への接続 を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。

SharePoint Online SOAP 内のCSV への接続

URI をCSV ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

SharePoint Online REST 内のCSV への接続

URI をCSV ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。 認証するには、OAuth 認証標準を使用します。

FTP 内のCSV への接続

URI をルートフォルダとして使用されるフォルダへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

Google Drive 内のCSV への接続

デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

NOTE: AWS Lambda 関数で JDBC ドライバーを使用するには、ライセンス（製品版または試用版）とランタイムキー（RTK）が必要です。ライセンス（または試用版）の取得については、弊社営業チームまでお問い合わせください。

組み込みの接続文字列デザイナー

JDBC URL の構築には、CSV JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.csv.jar

接続プロパティ（RTK を含む）を入力し、接続文字列をクリップボードにコピーします。

AWS Lambda 関数の作成

  1. CData JDBC Driver for CSV のインストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。

  2. AWS Toolkit for Eclipse を使用して、Eclipse で新しい AWS Lambda Java プロジェクトを作成します。詳細な手順は AWS のチュートリアル（amazon.com）を参照してください。

    この記事では、テーブル名を入力として渡せるように、プロジェクトのInput Type を「Custom」に設定します。

  3. CData JDBC Driver for CSV の JAR ファイル（cdata.jdbc.csv.jar）をビルドパスに追加します。このファイルは INSTALL_PATH\lib\ にあります。
  4. Java クラスに以下の import 文を追加します。 
    import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
import java.sql.SQLException;
import java.sql.Statement;

  5. handleRequest メソッドの本体を以下のコードに置き換えます。DriverManager.getConnection メソッド呼び出し内の接続文字列は、実際の値に置き換えてください。

    String query = "SELECT * FROM " + input;

try {
	Class.forName("cdata.jdbc.csv.CSVDriver");
} catch (ClassNotFoundException ex) {
	context.getLogger().log("Error: class not found");
}

Connection connection = null;

try {
	connection = DriverManager.getConnection("jdbc:cdata:csv:RTK=52465...;DataSource=MyCSVFilesFolder;");
} catch (SQLException ex) {
	context.getLogger().log("Error getting connection: " + ex.getMessage());
} catch (Exception ex) {
	context.getLogger().log("Error: " + ex.getMessage());
}

if(connection != null)
{
	context.getLogger().log("Connected Successfully!\n");
}

ResultSet resultSet = null;
try
{
	//executing query
	Statement stmt = connection.createStatement();
	resultSet = stmt.executeQuery(query);

	ResultSetMetaData metaData = resultSet.getMetaData();
	int numCols = metaData.getColumnCount();

	//printing the results
	while(resultSet.next())
	{
		for(int i = 1; i <= numCols; i++)
		{
			System.out.printf("%-25s", (resultSet.getObject(i) != null) ? resultSet.getObject(i).toString().replaceAll("\n", "") : null );
		}
		System.out.print("\n");
	}
}
catch (SQLException ex)
{
	System.out.println("SQL Exception: " + ex.getMessage());
}
catch (Exception ex)
{
	System.out.println("General exception: " + ex.getMessage());
}

String output = "query: " + query + " complete";
return output;

Lambda 関数のデプロイと実行

Eclipse で関数をビルドしたら、アップロードして実行する準備が整います。この記事では出力を AWS ログに書き込んでいますが、これをテンプレートとして、AWS Lambda 関数でCSV のデータを操作する独自のカスタムビジネスロジックを実装できます。

  1. パッケージを右クリックして、Amazon Web Services -> Upload function to AWS Lambda を選択します。
  2. 関数に名前を付け、IAM ロールを選択し、タイムアウト値を関数が完了するのに十分な値に設定します（クエリの結果サイズによって異なります）。
  3. パッケージを右クリックして、Amazon Web Services -> Run function on AWS Lambda を選択し、クエリ対象のCSVオブジェクト名（例：「Customer」）を入力します。
  4. ジョブの実行後、CloudWatch ログで出力を確認できます。

無償トライアル・詳細情報

CData JDBC Driver for CSV の30日間の無償トライアルをダウンロードして、AWS Lambda でリアルタイムCSV のデータを活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか？

CSV Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

CSV/TSV Files Icon CSV JDBC Driver お問い合わせ

CSV & TSV 連携のパワフルなJava アプリケーションを素早く作成して配布。

この記事の内容

関連記事