CData Connect AI を使用して Google Cloud Data Fusion でリアルタイムの Amazon S3 のデータ パイプラインを構築
Google Cloud Data Fusion は、ビジュアルインターフェースを使用してさまざまなソースと同期先間でデータを接続、変換、移動できるため、データパイプラインの構築と管理を簡素化します。CData Connect AI と組み合わせることで、ELT/ETL データパイプラインの構築と管理にAmazon S3 のデータへのアクセスが可能になります。この記事では、CData Connect AI を使用して Amazon S3 へのライブ接続を作成する方法と、Cloud Data Fusion プラットフォームからリアルタイムのAmazon S3 のデータに接続・アクセスする方法を説明します。
Cloud Data Fusion 用の Amazon S3 接続を設定
Cloud Data Fusion から Amazon S3 への接続は、CData Connect AI によって実現されます。Cloud Data Fusion からAmazon S3 のデータを扱うには、まず Amazon S3 接続を作成・設定します。
- Connect AI にログインし、Sources をクリック、次に Add Connection をクリック
- Add Connection パネルから「Amazon S3」を選択
-
Amazon S3 に接続するために必要な認証プロパティを入力します。
Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。
Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。
尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。
アクセスキーの取得
IAM ユーザーの資格情報を取得するには：
- IAM コンソールにサインインします。
- ナビゲーションペインで「ユーザー」を選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択します。
AWS ルートアカウントの資格情報を取得するには：
- ルートアカウントの資格情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択します。
- 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。
AWS ロールとして認証
多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。
（すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。
SSO 認証
SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。
- Save & Test をクリック
-
Add Amazon S3 Connection ページで Permissions タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token を追加
REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、Personal Access Token（PAT）が Connect AI への接続認証に使用されます。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開きます。
- Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック。
-
PAT に名前を付けて Create をクリック。
- Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。
接続の設定と PAT の生成が完了したら、Cloud Data Fusion からAmazon S3 のデータに接続する準備が整いました。
Cloud Data Fusion から Amazon S3 に接続
以下の手順に従って、CData Connect AI JDBC ドライバーを介して Cloud Data Fusion から Amazon S3 への接続を確立します：
- CData Connect AI JDBC ドライバーをダウンロード・インストール：
- CData Connect AI の Integrations ページを開きます。
- JDBC を検索・選択します。
- セットアップファイルをダウンロードして実行します。
- インストールが完了したら、インストールディレクトリ（例：C:\Program Files\CData\JDBC Driver for CData Connect\lib）から JAR ファイル（cdata.jdbc.connect.jar）をコピーします。
- Cloud Data Fusion にログイン。
- 右上の緑色の「+」ボタンをクリックしてエンティティを追加。
- Driver の下で Upload をクリック。
- CData Connect AI JDBC ドライバー（JAR ファイル）をアップロード。
- ドライバー設定を入力：
- Name：ドライバー名を入力
- Class name：「cdata.jdbc.connect.ConnectDriver」 と入力
- Version：ドライバーのバージョンを入力
- Description（オプション）：ドライバーの説明を入力
- Finish をクリック。
- ソース設定を入力：
- Label：接続を識別するための名前
- JDBC driver name：ステップ 6 で設定したドライバーを識別する JDBC ドライバー名を入力
- Connection string：JDBC 接続文字列を入力（例：
jdbc:connect:AuthScheme=Basic;user=username;password=PAT;
- User：CData Connect AI のユーザー名（CData Connect AI インターフェースの右上に表示）を入力（例：「[email protected]」）
- Password：Settings ページで生成した PAT を入力
- 右上の Validate をクリック。
- 接続が成功したら、UI を通じてパイプラインを編集・管理できます。
- 作成したパイプラインを実行。
トラブルシューティング
Cloud Data Fusion では、ソースデータの 「int」 型が自動的に 「long」 にキャストされる既知の問題があることにご注意ください。
クラウドアプリケーションから Amazon S3 のデータ へのリアルタイムアクセス
これで、Google Cloud Data Fusion からリアルタイムのAmazon S3 のデータへの直接接続が確立されました。Amazon S3 のデータ をレプリケーションすることなく、さまざまなソースと同期先間でデータをスムーズに移動できる接続を追加作成し、データ統合プロセスを効率化できます。
クラウドアプリケーションから Amazon S3 を含む 300 以上の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスについては、CData Connect AI をご覧ください。