Google Data Fusion で OData に連携した ETL プロセスを作成

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
CData JDBC Driver を Google Data Fusion にロードし、OData services にリアルタイムでアクセスできる ETL プロセスを作成します。

Google Data Fusion を使用すると、セルフサービス型のデータ連携を行い、異なるデータソースを統合できます。CData JDBC Driver for OData をアップロードすることで、Google Data Fusion のパイプライン内から OData services にリアルタイムでアクセスできるようになります。CData JDBC Driver を使用すると、OData services を Google Data Fusion でネイティブにサポートされている任意のデータソースにパイプできますが、この記事では、OData から Google BigQuery へデータをパイプする方法を説明します。

OData データ連携について

CData は、OData サービスのライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

  • OData バージョン 2.0、3.0、4.0 にアクセスでき、レガシーサービスと最新の機能・性能の両方に対応できます。
  • $filter、$select、$expand などの高度なクエリオプションを活用し、サードパーティツールからのデータ取得を強化できます。
  • サーバーサイドでの集計とグループ化の実行により、データ転送を最小化し、パフォーマンスを向上させます。
  • Azure AD、ダイジェスト、ネゴシエート、NTLM、OAuth など、さまざまなスキームを使用して安全に認証でき、すべての接続でセキュアな認証を実現します。
  • SQL ストアドプロシージャを使用して、OData サービスエンティティを管理できます。エンティティ間の関連付けの一覧表示、作成、削除などが可能です。

お客様は、Power BI、MicroStrategy、Tableau などのお気に入りのツールと OData サービスを定期的に統合し、OData サービスからデータベースやデータウェアハウスにデータをレプリケートするために CData のソリューションを使用しています。


はじめに


CData JDBC Driver for OData を Google Data Fusion にアップロード

CData JDBC Driver for OData を Google Data Fusion インスタンスにアップロードして、OData services にリアルタイムでアクセスしましょう。Google Data Fusion では JDBC ドライバーの命名規則に制限があるため、JAR ファイルを driver-version.jar という形式に合わせてコピーまたはリネームしてください。例：cdataodata-2020.jar

  1. Google Data Fusion インスタンスを開きます
  2. をクリックしてエンティティを追加し、ドライバーをアップロードします
  3. "Upload driver" タブで、リネームした JAR ファイルをドラッグまたは参照します。
  4. "Driver configuration" タブで以下を設定します：
    • Name: ドライバーの名前（cdata.jdbc.odata）を作成し、メモしておきます
    • Class name: JDBC クラス名を設定します：（cdata.jdbc.odata.ODataDriver）
  5. "Finish" をクリックします

Google Data Fusion で OData Services に接続

JDBC Driver をアップロードしたら、Google Data Fusion のパイプラインで OData services にリアルタイムでアクセスできます。

  1. Pipeline Studio に移動して、新しいパイプラインを作成します
  2. "Source" オプションから "Database" をクリックして、JDBC Driver 用のソースを追加します
  3. Database ソースの "Properties" をクリックしてプロパティを編集します

    NOTE：Google Data Fusion で JDBC Driver を使用するには、ライセンス（製品版またはトライアル）とランタイムキー（RTK）が必要です。ライセンス（またはトライアル）の取得については、CData までお問い合わせください。

    • Label を設定します
    • Reference Name を将来の参照用の値に設定します（例：cdata-odata）
    • Plugin Type を "jdbc" に設定します
    • Connection String を OData の JDBC URL に設定します。例：

      jdbc:odata:RTK=5246...;URL=http://services.odata.org/V4/Northwind/Northwind.svc;UseIdUrl=True;OData Version=4.0;Data Format=ATOM;

      OData への接続

      OData に接続するには、Url を有効なOData サービスルートURI に設定する必要があります。 OData サービスにルートドキュメントがない場合、テーブルとして公開したい特定のエンティティをFeedURL に指定してください。

      OData への認証

      OData は、以下を経由する認証をサポートします。

      • HTTP
      • Kerberos
      • SharePoint Online
      • OAuth
      • Azure AD

      HTTP 認証スキーム

      HTTP で認証する場合は、次の表に従ってAuthScheme を設定します。

      SchemeAuthSchemeその他の設定
      NoneNone認証を必要としない場合に使用。
      BasicBasicUser、Password
      NTLMNTLMUser、Password
      Digest（サポートされている場合）DigestUser、Password

      その他の認証方法の詳細は、ヘルプドキュメントの「接続の確立」セクションを参照してください。

      ビルトイン接続文字列デザイナー

      JDBC URL の作成には、OData JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

            java -jar cdata.jdbc.odata.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    • Import Query を OData から取得したいデータを抽出する SQL クエリに設定します。例：
      SELECT * FROM Orders
  4. "Sink" タブから、同期先シンクを追加します（この例では Google BigQuery を使用します）
  5. BigQuery シンクの "Properties" をクリックしてプロパティを編集します
    • Label を設定します
    • Reference Name を odata-bigquery のような値に設定します
    • Project ID を特定の Google BigQuery プロジェクト ID に設定します（またはデフォルトの "auto-detect" のままにします）
    • Dataset を特定の Google BigQuery データセットに設定します
    • Table を OData services を挿入するテーブル名に設定します

Source と Sink を設定すると、OData services を Google BigQuery にパイプする準備が整います。パイプラインを保存してデプロイしてください。パイプラインを実行すると、Google Data Fusion が OData からリアルタイムデータをリクエストし、Google BigQuery にインポートします。

これはシンプルなパイプラインの例ですが、変換、分析、条件などを使用してより複雑な OData パイプラインを作成できます。CData JDBC Driver for OData の 30日間の無償トライアルをダウンロードして、今すぐ Google Data Fusion で OData services をリアルタイムで活用しましょう。

はじめる準備はできましたか？

OData Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

OData Icon OData JDBC Driver お問い合わせ

使いやすいOData クライアント（コンシューマー）を使用して、OData サービスと通信するJava アプリケーションを簡単に構築できるようになります。

この記事の内容

関連記事