ScrapingBee をSSIS 経由でSQL サーバーにバックアップする
ScrapingBee 用のCData ADO.NET プロバイダーはScrapingBee をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。
ここでは、SQL サーバー SSIS ワークフロー内でScrapingBee 用のプロバイダーを使用して、ScrapingBee をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。 以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。
- Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
- ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。
Data Flow 画面で、ツールボックスから［ADO.NET Source］ と［OLE DB Destination］ を追加します。
- 新しい接続を追加し、ScrapingBee 2015 用の .NET プロバイダー\CData ADO.NET Provider for APIs 2015
Connection Manager で、ScrapingBee 用に接続の詳細を入力します。下は一般的な接続文字列です。
Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";
API キー認証の設定
ScrapingBee は API キー認証を使用します。API キーを取得するには、以下のステップで進めます：
- https://app.scrapingbee.com で ScrapingBee アカウントにサインインします
- Dashboard に移動して、上部のセクションで API キーを確認します。
- 接続文字列で使用する API キーをコピーします。
API キーを取得したら、以下の接続プロパティを設定します：
- AuthScheme：APIKey に設定します。
- APIKey：ScrapingBee の API キーに設定します。
接続文字列の例
Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";
ScrapingBee への接続
認証を設定すると、ScrapingBee に接続して、利用可能なテーブルからデータをクエリできます。すべてのテーブルでは、データを取得するために少なくとも 1 つの入力パラメータ（検索クエリや商品 ID など）が必要です。
DataReader editor を開き、次のインフォメーションを設定します。
- ADO.NET 接続マネージャー：Connection Manager のメニューで、先ほど作成した［Data Connection］ を選択します。
- データアクセスモード：［SQL command］ を選択します。
- SQL command テキスト：DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。
SELECT , FROM GoogleSearchResults WHERE SearchQuery = 'cdata drivers'
- DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。
OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。
- コネクションマネージャー：新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
- データアクセスモード：データアクセスモードを［table or view］ に設定し、データベースに入力するテーブルまたはビューを選択します。
Mappings 画面で必要なプロパティを設定します。
- OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 ScrapingBee から取得したデータが、データベースに入力されます。