【ノーコード】ScrapingBee のデータを複数のデータベースにレプリケーション。



常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。CData Sync は、リアルタイムScrapingBee のデータをミラーリングデータベース、上記稼働のクラウドデータベース、レポーティングサーバーなどのほかのデータベースに連携し、Windows からリモートScrapingBee に接続し、自動的に同期を取ります。

レプリケーションの同期先の設定

CData Sync を使って、ScrapingBee をクラウド・オンプレにかかわらず複数のデータベースレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。

それぞれのデータベース向けに以下を行います：

1. ［同期先］タブをクリックします。
2. 同期先を選択します。この記事では、SQLite を使います。
3. 必要な接続プロパティを入力します。SQLite データベースにScrapingBee をレプリケートするためにDataSource ボックスにファイルパスを入力します。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。

5. ［変更を保存］をクリックします。

ScrapingBee 接続の設定

データソース側にScrapingBee を設定します。［接続］タブをクリックします。

1. ［同期先］タブをクリックします。
2. ScrapingBee アイコンをデータソースとして選択します。プリインストールされたソースにScrapingBee がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   API キー認証の設定

   ScrapingBee は API キー認証を使用します。API キーを取得するには、以下のステップで進めます：

   1. https://app.scrapingbee.com で ScrapingBee アカウントにサインインします
   2. Dashboard に移動して、上部のセクションで API キーを確認します。
   3. 接続文字列で使用する API キーをコピーします。

   API キーを取得したら、以下の接続プロパティを設定します：

   • AuthScheme：APIKey に設定します。
   ProfileSettings 接続プロパティには以下を設定します：
   • APIKey：ScrapingBee の API キーに設定します。

   接続文字列の例

   Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";
   

   ScrapingBee への接続

   認証を設定すると、ScrapingBee に接続して、利用可能なテーブルからデータをクエリできます。すべてのテーブルでは、データを取得するために少なくとも 1 つの入力パラメータ（検索クエリや商品 ID など）が必要です。

   
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

レプリケーションを実行するクエリの設定

CData Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

テーブルをカスタマイズしてレプリケーションする

SQL クエリを使って、レプリケーションをカスタマイズすることができます。REPLICATE ステートメントは、データベースにテーブルをキャッシュして、保持するハイレベルなコマンドです。ScrapingBee API でサポートされているSELECT クエリを使うことができます。レプリケーションのカスタマイズには、［カスタムクエリを追加］をクリックして、カスタムクエリステートメントを定義します。

次のステートメントは、ScrapingBee のテーブルのアップデートを差分更新でキャッシュします:

REPLICATE GoogleSearchResults;

特定のデータベースを更新するために、レプリケーションクエリを含むファイルを指定することもできます。レプリケーションクエリをセミコロンで区切ります。複数のScrapingBee アカウントを同じデータベースに同期しようとする際には、以下のオプションが便利です：

• REPLICATE SELECT ステートメントで別のprefix を使う：

  REPLICATE PROD_GoogleSearchResults SELECT * FROM GoogleSearchResults;
  

• 別の方法では、別のスキーマを使う：

  REPLICATE PROD.GoogleSearchResults SELECT * FROM GoogleSearchResults;
  

レプリケーションのスケジュール起動設定

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。ScrapingBee のオンプレミス、クラウドなどのデータベースへのレプリケーションジョブは一つではなく複数を作成することが可能です。