Denodo Platform で ScrapingBee のデータ に接続

Denodo Platform は、エンタープライズデータベースのデータを統合的に扱うことができるデータ仮想化製品です。CData API Driver for JDBC と組み合わせることで、Denodo ユーザーは他のエンタープライズデータソースと並んでライブ ScrapingBee のデータ を扱うことができます。本記事では、Denodo Virtual DataPort Administrator で ScrapingBee 用の仮想データソースを作成する方法を解説します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、ライブ ScrapingBee のデータ とのやり取りにおいて比類のないパフォーマンスを提供します。ScrapingBee に対して複雑な SQL クエリを発行すると、ドライバーはフィルターや集計などのサポートされている SQL 操作を直接 ScrapingBee にプッシュし、内蔵の SQL エンジンを使用してサポートされていない操作（主に SQL 関数や JOIN 操作）をクライアントサイドで処理します。また、動的メタデータクエリ機能を内蔵しているため、ネイティブデータ型を使用して ScrapingBee のデータ を操作・分析できます。

ScrapingBee 仮想ポートの作成

Denodo からライブ ScrapingBee のデータ に接続するには、JDBC Driver の JAR ファイルを Denodo の外部ライブラリディレクトリにコピーし、Virtual DataPort Administrator ツールで新しい JDBC データソースを作成します。

1. CData API Driver for JDBC インストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。
2. インストール先（通常は C:\Program Files\CData\CData API Driver for JDBC\lib\）から JAR ファイル（およびライセンスファイルが存在する場合はそれも）を Denodo 外部ライブラリディレクトリ（C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-api-19）にコピーします。
3. Denodo Virtual DataPort Administrator ツールを開き、Server Explorer タブに移動します。
4. "admin" を右クリックし、New -> Data source -> JDBC を選択します。
5. JDBC 接続を設定します:
   • Name: 任意の名前（例: api）
   • Database adapter: Generic
   • Driver class path: C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-api-19
   • Driver class: cdata.jdbc.api.APIDriver

   • Database URI: 必要な接続プロパティを使用して JDBC URL を設定します。例:

     jdbc:api:Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";

     

     Database URI の作成方法は以下のとおりです:

     ビルトイン接続文字列デザイナー

     JDBC URL の構築には、ScrapingBee JDBC Driver に組み込まれた接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

     	java -jar cdata.jdbc.api.jar
     	

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     API キー認証の設定

     ScrapingBee は API キー認証を使用します。API キーを取得するには、以下のステップで進めます：

     1. https://app.scrapingbee.com で ScrapingBee アカウントにサインインします
     2. Dashboard に移動して、上部のセクションで API キーを確認します。
     3. 接続文字列で使用する API キーをコピーします。

     API キーを取得したら、以下の接続プロパティを設定します：

     • AuthScheme：APIKey に設定します。
     ProfileSettings 接続プロパティには以下を設定します：
     • APIKey：ScrapingBee の API キーに設定します。

     接続文字列の例

     Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";
     

     ScrapingBee への接続

     認証を設定すると、ScrapingBee に接続して、利用可能なテーブルからデータをクエリできます。すべてのテーブルでは、データを取得するために少なくとも 1 つの入力パラメータ（検索クエリや商品 ID など）が必要です。

     
6. "Test connection" ボタンをクリックして設定を確認し、Save をクリックします。

VirtualPort Administrator ツールで ScrapingBee のデータ を表示

データソースを作成したら、Denodo Platform で使用する ScrapingBee のデータ のベースビューを作成できます。

1. 新しく作成した VirtualPort (admin.API) で "Create base view" ボタンをクリックします。
2. オブジェクトツリーを展開し、インポートするオブジェクト（テーブル）を選択します。
3. "Create selected" ボタンをクリックして、ScrapingBee のデータ のビューを作成します。
   オプション: "Create associations from foreign keys" をクリックして、オブジェクト間のリレーションシップを定義できます。
4. ビューが作成されたら、Server Explorer で対象テーブル（cdata_api_googlesearchresults）に移動し、選択したテーブルをダブルクリックします。
5. 新しいタブで "Execution panel" をクリックしてクエリパネルを開きます。
6. "Execute" タブでクエリをカスタマイズするか、デフォルトのクエリを使用します:

   SELECT * FROM cdata_api_googlesearchresults CONTEXT ('i18n'='us_est', 'cache_wait_for_load'='true')
   

   
7. Execute をクリックしてデータを表示します。

ベースビューの作成後は、Denodo Platform の他のデータソースと同様にライブ ScrapingBee のデータ を扱うことができます。たとえば、Denodo Data Catalog で ScrapingBee をクエリできます。

CData API Driver for JDBC の 30日間無料トライアルをダウンロードして、Denodo Platform でライブ ScrapingBee のデータ の活用を始めましょう。ご不明な点がございましたら、サポートチーム までお問い合わせください。