CData Connect AI を使用して Google Cloud Data Fusion でリアルタイムの IBM Cloud Object Storage のデータ パイプラインを構築

Mohsin Turki
Mohsin Turki
Technical Marketing Engineer
CData Connect AI を使用して Google Cloud Data Fusion から IBM Cloud Object Storage に接続し、IBM Cloud Object Storageのリアルタイムデータを活用した効果的なデータパイプラインを構築・管理します。

Google Cloud Data Fusion は、ビジュアルインターフェースを使用してさまざまなソースと同期先間でデータを接続、変換、移動できるため、データパイプラインの構築と管理を簡素化します。CData Connect AI と組み合わせることで、ELT/ETL データパイプラインの構築と管理にIBM Cloud Object Storage のデータへのアクセスが可能になります。この記事では、CData Connect AI を使用して IBM Cloud Object Storage へのライブ接続を作成する方法と、Cloud Data Fusion プラットフォームからリアルタイムのIBM Cloud Object Storage のデータに接続・アクセスする方法を説明します。

Cloud Data Fusion 用の IBM Cloud Object Storage 接続を設定

Cloud Data Fusion から IBM Cloud Object Storage への接続は、CData Connect AI によって実現されます。Cloud Data Fusion からIBM Cloud Object Storage のデータを扱うには、まず IBM Cloud Object Storage 接続を作成・設定します。

  1. Connect AI にログインし、Sources をクリック、次に Add Connection をクリック
    2. 接続を追加
  2. Add Connection パネルから「IBM Cloud Object Storage」を選択
    3. データソースを選択
  3. IBM Cloud Object Storage に接続するために必要な認証プロパティを入力します。

    Cloud Object Storage 接続プロパティの取得・設定方法

    Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

    Cloud Object Storage の新規インスタンスの登録

    IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにCloud Object Storage のインスタンスを作成できます。

    1. IBM Cloud アカウントにログインします。
    2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

    API キー

    API キーは以下の手順で取得できます。

    1. まずは、IBM Cloud アカウントにログインします。
    2. API キーページに移動します。
    3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
    4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

    Cloud Object Storage CRN

    デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

    • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
    • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

    IBM Cloud Object Storage への接続

    これで準備は完了です。以下の接続プロパティを設定してください。

    • InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
    • ApiKey：セットアップ中に控えたAPI キーを指定。
    • CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

    プロパティを設定したら、これで接続設定は完了です。

    接続を設定（Salesforce の例）
  4. Save & Test をクリック
  5. Add IBM Cloud Object Storage Connection ページで Permissions タブに移動し、ユーザーベースの権限を更新します。 権限を更新

Personal Access Token を追加

REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、Personal Access Token（PAT）が Connect AI への接続認証に使用されます。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。

  1. Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開きます。
  2. Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック。
  3. PAT に名前を付けて Create をクリック。 新しい PAT を作成
  4. Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。

接続の設定と PAT の生成が完了したら、Cloud Data Fusion からIBM Cloud Object Storage のデータに接続する準備が整いました。

Cloud Data Fusion から IBM Cloud Object Storage に接続

以下の手順に従って、CData Connect AI JDBC ドライバーを介して Cloud Data Fusion から IBM Cloud Object Storage への接続を確立します：

  1. CData Connect AI JDBC ドライバーをダウンロード・インストール：
    1. CData Connect AI の Integrations ページを開きます。
    2. JDBC を検索・選択します。
    3. セットアップファイルをダウンロードして実行します。
    4. インストールが完了したら、インストールディレクトリ（例：C:\Program Files\CData\JDBC Driver for CData Connect\lib）から JAR ファイル（cdata.jdbc.connect.jar）をコピーします。
  2. Cloud Data Fusion にログイン。
  3. 右上の緑色の「+」ボタンをクリックしてエンティティを追加。
  4. Driver の下で Upload をクリック。 ドライバー JAR ファイルをアップロード
  5. CData Connect AI JDBC ドライバー（JAR ファイル）をアップロード。
  6. ドライバー設定を入力：
    • Name：ドライバー名を入力
    • Class name：「cdata.jdbc.connect.ConnectDriver」 と入力
    • Version：ドライバーのバージョンを入力
    • Description（オプション）：ドライバーの説明を入力 ドライバー設定を入力
  7. Finish をクリック。
  8. ソース設定を入力：
    • Label：接続を識別するための名前
    • JDBC driver name：ステップ 6 で設定したドライバーを識別する JDBC ドライバー名を入力
    • Connection string：JDBC 接続文字列を入力（例： 
      jdbc:connect:AuthScheme=Basic;user=username;password=PAT;
    • User：CData Connect AI のユーザー名（CData Connect AI インターフェースの右上に表示）を入力（例：「[email protected]」）
    • Password：Settings ページで生成した PAT を入力 ソース設定を入力
  9. 右上の Validate をクリック。
  10. 接続が成功したら、UI を通じてパイプラインを編集・管理できます。 UI でパイプラインを構築・管理
  11. 作成したパイプラインを実行。 パイプラインを実行

トラブルシューティング

Cloud Data Fusion では、ソースデータの 「int」 型が自動的に 「long」 にキャストされる既知の問題があることにご注意ください。

クラウドアプリケーションから IBM Cloud Object Storage のデータ へのリアルタイムアクセス

これで、Google Cloud Data Fusion からリアルタイムのIBM Cloud Object Storage のデータへの直接接続が確立されました。IBM Cloud Object Storage のデータ をレプリケーションすることなく、さまざまなソースと同期先間でデータをスムーズに移動できる接続を追加作成し、データ統合プロセスを効率化できます。

クラウドアプリケーションから IBM Cloud Object Storage を含む 数百種類の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスについては、CData Connect AI をご覧ください。

はじめる準備はできましたか？

CData Connect AI の詳細、または無料トライアルにお申し込みください：

無料トライアル

この記事の内容

関連記事