【ノーコード】複数のScrapingBee アカウントのデータを簡単レプリケーション

CData Sync は、いろいろなシナリオのデータレプリケーション（同期）を行うことができるスタンドアロンのアプリケーションです。例えば、sandbox および本番インスタンスのデータをデータベースに同期することができます。CData Sync のウェブインターフェースは複数のScrapingBee コネクションを簡単に管理できます。本記事では、複数のScrapingBee アカウントを一つのデータベースに同期する方法を説明します。

レプリケーションの同期先を設定

CData Sync では、ScrapingBee のデータ を何台のデータベースにでも複製できます。データベースはクラウドおよびオンプレミスの双方に対応しています。レプリケーションの同期先の設定には、［接続］タブから行います。

1. ［同期先］タブを選択します。
2. 同期先のアイコンをクリックします。本記事では、SQLite を使います。
3. 必要な接続プロパティを入力します。ScrapingBee をSQLite に複製するには、データソースボックスにファイルパスを指定します。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

ScrapingBee 接続の設定

データソース側にScrapingBee を設定します。［接続］タブをクリックします。

1. ［接続の追加］セクションで［データソース］タブを選択します。
2. ScrapingBee アイコンをデータソースとして選択します。プリインストールされたソースにScrapingBee がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   API キー認証の設定

   ScrapingBee は API キー認証を使用します。API キーを取得するには、以下のステップで進めます：

   1. https://app.scrapingbee.com で ScrapingBee アカウントにサインインします
   2. Dashboard に移動して、上部のセクションで API キーを確認します。
   3. 接続文字列で使用する API キーをコピーします。

   API キーを取得したら、以下の接続プロパティを設定します：

   • AuthScheme：APIKey に設定します。
   ProfileSettings 接続プロパティには以下を設定します：
   • APIKey：ScrapingBee の API キーに設定します。

   接続文字列の例

   Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";
   

   ScrapingBee への接続

   認証を設定すると、ScrapingBee に接続して、利用可能なテーブルからデータをクエリできます。すべてのテーブルでは、データを取得するために少なくとも 1 つの入力パラメータ（検索クエリや商品 ID など）が必要です。

   
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

それぞれのScrapingBee インスタンスのレプリケーションクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。.

テーブルをカスタマイズしてレプリケーションする

SQL クエリを使って、レプリケーションをカスタマイズできます。REPLICATE 構文はデータベースのテーブルにデータをキャッシュし、保存するハイレベルコマンドです。ScrapingBee API がサポートするSELECT クエリを定義することができます。レプリケーションのカスタマイズにはテーブルセクションで［カスタムクエリの追加］をクリックして、クエリステートメントを記述します。

ScrapingBee のデータ のテーブルを差分更新でキャッシュするステートメントは次のとおり:

REPLICATE GoogleSearchResults;

使用するレプリケーションクエリを含むファイルを指定することで特定のデータベースを更新することが可能です。レプリケーションステートメントをセミコロンで区切ります。次のオプションは一つのデータベースに複数のScrapingBee アカウントのデータを同期する例です:

• REPLICATE SELECT ステートメントで異なるtable prefix を使用する:

  REPLICATE PROD_GoogleSearchResults SELECT * FROM GoogleSearchResults;
  

• 別の方法として、異なるスキーマを使うことも可能です:

  REPLICATE PROD.GoogleSearchResults SELECT * FROM GoogleSearchResults;
  

レプリケーションのスケジュール起動

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］します。このように複数のScrapingBee アカウントのデータを複製するジョブを作成することができました。