Spring Boot からAzure Data Lake Storage のデータに接続する方法

Jerod Johnson
Senior Technology Evangelist

CData JDBC Azure Data Lake Storage Driver を使用してSpring Boot アプリケーションからAzure Data Lake Storage に接続。

Spring Boot は、Java Web アプリケーションの開発を容易にするフレームワークです。最小限の設定でスタンドアロンアプリケーションを作成できるのが特徴です。 CData JDBC Driver for Azure Data Lake Storage と組み合わせることで、Spring Boot からリアルタイムのAzure Data Lake Storage のデータを扱えるようになります。この記事では、CData JDBC Driver for Azure Data Lake Storage を使用してSpring Boot アプリケーションでデータソースを設定し、データを取得する方法を説明します。

ビルトインの最適化されたデータ処理機能により、CData JDBC Driver はリアルタイムのAzure Data Lake Storage のデータとのやり取りにおいて比類のないパフォーマンスを発揮します。Azure Data Lake Storage に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接Azure Data Lake Storage にプッシュし、サポートされていない操作（多くの場合SQL 関数や JOIN 操作）は組み込みのSQL エンジンを利用してクライアント側で処理します。組み込みの動的メタデータクエリにより、ネイティブのデータ型を使用して Azure Data Lake Storage のデータを操作・分析できます。

Java でSpring Boot プロジェクトを作成

IDE（このチュートリアルではIntelliJ を使用）で、Maven プロジェクトを選択します：新しいMaven プロジェクトを作成生成されたプロジェクトで、pom.xml ファイルを開き、Spring Boot に必要な依存関係を追加します：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.7.2</version>
<relativePath/>
</parent>
<groupId>com.example</groupId>
<artifactId>demo</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>demo</name>
<description>Demo project for Spring Boot</description>
<properties>
<java.version>1.8</java.version>
</properties>
<build>
<plugins>
	<plugin>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-maven-plugin</artifactId>
	</plugin>

	<plugin>
		<groupId>org.apache.maven.plugins</groupId>
		<artifactId>maven-install-plugin</artifactId>
		<version>2.5.1</version>
		<executions>
			<execution>
				<id>id.install-file</id>
				<phase>clean</phase>
				<goals>
					<goal>install-file</goal>
				</goals>
				<configuration>
					<file>C:\Program Files\CData[product_name] ####\lib\cdata.jdbc.adls.jar</file>
					<groupId>org.cdata.connectors</groupId>
					<artifactId>cdata-adls-connector</artifactId>
					<version>23</version>
					<packaging>jar</packaging>
				</configuration>
			</execution>
		</executions>
	</plugin>
</plugins>
</build>

<dependencies>
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
	<version>2.7.0</version>
</dependency>
<dependency>
	<groupId>org.cdata.connectors</groupId>
	<artifactId>cdata-adls-connector</artifactId>
	<version>23</version>
</dependency>

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-test</artifactId>
	<scope>test</scope>
</dependency>
</dependencies>



<distributionManagement>
<repository>
	<uniqueVersion>false</uniqueVersion>
	<id>test</id>
	<name>My Repository</name>
	<url>scp://repo/maven2</url>
	<layout>default</layout>
</repository>
</distributionManagement>

</project>

Note: 年（####）とバージョン番号（上記のXML スクリプトに記載）は、使用しているCData JDBC Driver の現在のバージョンに合わせて調整してください。

プロジェクト構造

java ディレクトリに新しいパッケージを作成します。通常、パッケージ名はgroupId （com.example）の後にartifactId（.MDS）を付けたものになります。 java フォルダに新しいパッケージを作成パッケージ名を入力

「java」ディレクトリを「Sources Root」としてマーク（青色で表示）します。これを行うには、java ディレクトリを右クリックし、「Mark Directory as」->「Sources Root」を選択します（以下を参照）。また、「resources」ディレクトリを「Resources Root」としてマークします。ディレクトリをSources Root としてマーク

データベース接続プロパティの保存

データベース接続プロパティを保存するための「application.properties」ファイルを作成します。これを行うには、「resources」フォルダを右クリックし、「New」->「File」を選択し、ファイル名を「application.properties」と入力してEnter を押します。新しい（設定）ファイルを作成ファイル名をapplication.properties とする

application.properties ファイルで、クラス名とJDBC URL を使用してAzure Data Lake Storage JDBC Driver の設定プロパティを設定します：

	spring.datasource.driver=cdata.jdbc.adls.ADLSDriver
	spring.datasource.url=jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

組み込みの接続文字列デザイナー

JDBC URL の作成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

java -jar cdata.jdbc.adls.jar

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen2 への接続

それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。

Account：ストレージアカウントの名前
FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます

Azure Data Lake Storage Gen2への認証

続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています：アクセスキー（AccessKey）の使用、共有アクセス署名（SAS）の使用、Azure Active Directory OAuth（AzureAD）経由、Azure サービスプリンシパル（AzureServicePrincipal またはAzureServicePrincipalCert）経由、およびManaged Service Identity（AzureMSI）経由です。

アクセスキー

アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

Azure ポータルでの手順は以下のとおりです：

ADLS Gen2ストレージアカウントにアクセスします
設定でアクセスキーを選択します
利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします

接続の準備ができたら、以下のプロパティを設定してください。

AuthScheme：AccessKey
AccessKey：先ほどAzure ポータルで取得したアクセスキーの値

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、以下のプロパティを設定してください。

AuthScheme：SAS
SharedAccessSignature：先ほど生成した共有アクセス署名の値

その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。

組み込みの接続文字列デザイナーを使用してJDBC URL を生成（Salesforce の例）

application.properties ファイルでプロパティを設定したら、次にそれらを構成します。

データソースの設定

まず、Azure Data Lake Storage データソースをプライマリデータソースとしてマークします。次に、データソースBean を作成します。

DriverManagerDataSource.java ファイルを作成し、以下のようにBean を作成します。@Bean でエラーが発生する場合、 Spring Boot が正しくロードされていない可能性があります。これを修正するには、「File」->「Invalidate Caches」でキャッシュを無効にして再起動します。また、Maven がSpring Boot の依存関係を追加していることを確認してください。

データソースBean を作成するには、DriverManagerDataSource クラスを使用します。このクラスを使用すると、データソースのプロパティを設定できます。このJava クラスを作成するには、「com.example.MDS」パッケージを右クリックし、「New」->「Java Class」を選択します。新しいJava クラスを作成

以下のコードは、データソースのBean 定義を示しています。各ドライバーにはBean が必要です。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Primary;
import org.springframework.core.env.Environment;
import javax.sql.DataSource;

public class DriverManagerDataSource{
	@Autowired
	private static Environment env;

	@Bean(name ="ADLS")
	@Primary
	public static DataSource ADLSDataSource()
	{

	DataSourceBuilder<?> dataSourceBuilder = DataSourceBuilder.create();
		dataSourceBuilder.driverClassName("cdata.jdbc.adls.ADLSDriver");
		dataSourceBuilder.url("jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;");
		return dataSourceBuilder.build();
	}

	//@Override
	public void setEnvironment( final Environment environment) {
	env=environment;
	}
}

次に、Azure Data Lake Storage jar ファイルをDocuments フォルダに移動します（以下のコマンドのパスを参照）。jar ファイルのパスにスペースが含まれないようにするためです。次に、 Maven アイコン（IntelliJ の右上隅）をクリックし、「Execute Maven Goal」をクリックします。以下のコマンドを実行します： Maven Goal を実行 Maven install コマンドを実行

mvn install:install-file "-Dfile=C:\Program Files\CData[product_name] ####\lib\cdata.jdbc.adls.jar" -DgroupId=org.cdata.connectors -DartifactId=cdata-adls-connector -Dversion=23 -Dpackaging=jar

このコマンドを実行するには、以下のいずれかの手順に従ってください：

「-Dfile location」はCData JDBC Driver のデフォルトのインストールパスのままにできます。この場合、パスを引用符で囲んでください。また、使用しているドライバーの現在のバージョンに基づいて年と「Dversion」を変更してください。
記事の前半で述べたように、 jar ファイルをDocuments フォルダに移動した場合は、提供されたコマンドのパスを変更してください。この場合、Dfile location を引用符で囲まないでください。使用しているドライバーの現在のバージョンに基づいて「Dversion」を編集してください。

Enter を押すと、以下の出力が表示されます： JDBC Driver のインストール成功

接続のテスト

最後のステップは接続のテストです。（例：「MDSApplication」）の形式で新しいJava クラスを作成します。アプリケーションクラスには任意の名前を選択できます。 MDSApplication.java のmain メソッドでデータソースを呼び出します：

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration;
import java.sql.Connection;
import java.sql.SQLException;
import static com.example.demo.DriverManagerDataSources.ADLSDataSource;


@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})
	public class MDSApplication {
		//remove the comment on the line below
		public static void main (){
		SpringApplication.run(DemoApplication.class, args);
		Connection conn = ADLSDataSource().getConnection();
		System.out.println("Catalog: "+ conn.getCatalog());
	}
}

生成される出力は以下のようになります：テスト接続成功

無償トライアルと詳細情報

CData JDBC Driver for Azure Data Lake Storage の30日間の無償トライアルをダウンロードして、Spring Boot でリアルタイムのAzure Data Lake Storage データを使い始めましょう。

はじめる準備はできましたか？

Azure Data Lake Storage Driver の無料トライアルをダウンロードしてお試しください：

ダウンロード

詳細：

Azure Data Lake Storage JDBC Driver お問い合わせ

Azure Data Lake Storage データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。