CData Connect AI を使用して Google Cloud Data Fusion でリアルタイムの Azure Data Lake Storage のデータ パイプラインを構築
Google Cloud Data Fusion は、ビジュアルインターフェースを使用してさまざまなソースと同期先間でデータを接続、変換、移動できるため、データパイプラインの構築と管理を簡素化します。CData Connect AI と組み合わせることで、ELT/ETL データパイプラインの構築と管理にAzure Data Lake Storage のデータへのアクセスが可能になります。この記事では、CData Connect AI を使用して Azure Data Lake Storage へのライブ接続を作成する方法と、Cloud Data Fusion プラットフォームからリアルタイムのAzure Data Lake Storage のデータに接続・アクセスする方法を説明します。
Cloud Data Fusion 用の Azure Data Lake Storage 接続を設定
Cloud Data Fusion から Azure Data Lake Storage への接続は、CData Connect AI によって実現されます。Cloud Data Fusion からAzure Data Lake Storage のデータを扱うには、まず Azure Data Lake Storage 接続を作成・設定します。
- Connect AI にログインし、Sources をクリック、次に Add Connection をクリック
- Add Connection パネルから「Azure Data Lake Storage」を選択
-
Azure Data Lake Storage に接続するために必要な認証プロパティを入力します。
Azure Data Lake Storage 接続プロパティの取得・設定方法
Azure Data Lake Storage Gen2 への接続
それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。
- Account：ストレージアカウントの名前
- FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
- Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます
Azure Data Lake Storage Gen2への認証
続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています：アクセスキー（AccessKey）の使用、共有アクセス署名（SAS）の使用、Azure Active Directory OAuth（AzureAD）経由、Azure サービスプリンシパル（AzureServicePrincipal またはAzureServicePrincipalCert）経由、およびManaged Service Identity（AzureMSI）経由です。
アクセスキー
アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。
Azure ポータルでの手順は以下のとおりです：
- ADLS Gen2ストレージアカウントにアクセスします
- 設定でアクセスキーを選択します
- 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします
接続の準備ができたら、以下のプロパティを設定してください。
- AuthScheme：AccessKey
- AccessKey：先ほどAzure ポータルで取得したアクセスキーの値
共有アクセス署名（SAS）
共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。
接続の準備ができたら、以下のプロパティを設定してください。
- AuthScheme：SAS
- SharedAccessSignature：先ほど生成した共有アクセス署名の値
その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。
- Save & Test をクリック
-
Add Azure Data Lake Storage Connection ページで Permissions タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token を追加
REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、Personal Access Token（PAT）が Connect AI への接続認証に使用されます。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開きます。
- Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック。
-
PAT に名前を付けて Create をクリック。
- Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。
接続の設定と PAT の生成が完了したら、Cloud Data Fusion からAzure Data Lake Storage のデータに接続する準備が整いました。
Cloud Data Fusion から Azure Data Lake Storage に接続
以下の手順に従って、CData Connect AI JDBC ドライバーを介して Cloud Data Fusion から Azure Data Lake Storage への接続を確立します：
- CData Connect AI JDBC ドライバーをダウンロード・インストール：
- CData Connect AI の Integrations ページを開きます。
- JDBC を検索・選択します。
- セットアップファイルをダウンロードして実行します。
- インストールが完了したら、インストールディレクトリ（例：C:\Program Files\CData\JDBC Driver for CData Connect\lib）から JAR ファイル（cdata.jdbc.connect.jar）をコピーします。
- Cloud Data Fusion にログイン。
- 右上の緑色の「+」ボタンをクリックしてエンティティを追加。
- Driver の下で Upload をクリック。
- CData Connect AI JDBC ドライバー（JAR ファイル）をアップロード。
- ドライバー設定を入力：
- Name：ドライバー名を入力
- Class name：「cdata.jdbc.connect.ConnectDriver」 と入力
- Version：ドライバーのバージョンを入力
- Description（オプション）：ドライバーの説明を入力
- Finish をクリック。
- ソース設定を入力：
- Label：接続を識別するための名前
- JDBC driver name：ステップ 6 で設定したドライバーを識別する JDBC ドライバー名を入力
- Connection string：JDBC 接続文字列を入力（例：
jdbc:connect:AuthScheme=Basic;user=username;password=PAT;
- User：CData Connect AI のユーザー名（CData Connect AI インターフェースの右上に表示）を入力（例：「[email protected]」）
- Password：Settings ページで生成した PAT を入力
- 右上の Validate をクリック。
- 接続が成功したら、UI を通じてパイプラインを編集・管理できます。
- 作成したパイプラインを実行。
トラブルシューティング
Cloud Data Fusion では、ソースデータの 「int」 型が自動的に 「long」 にキャストされる既知の問題があることにご注意ください。
クラウドアプリケーションから Azure Data Lake Storage のデータ へのリアルタイムアクセス
これで、Google Cloud Data Fusion からリアルタイムのAzure Data Lake Storage のデータへの直接接続が確立されました。Azure Data Lake Storage のデータ をレプリケーションすることなく、さまざまなソースと同期先間でデータをスムーズに移動できる接続を追加作成し、データ統合プロセスを効率化できます。
クラウドアプリケーションから Azure Data Lake Storage を含む 300 以上の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスについては、CData Connect AI をご覧ください。