SSIS を使ってScrapfly のデータをSQL Server にインポート
SQL Server に基幹業務データのバックアップを保管しておくことは、ビジネス上のセーフティネットとなります。また、ユーザーはSQL Server のバックアップデータからレポーティングや分析を簡単に行うことができます。
ここでは、SQL サーバー SSIS ワークフロー内でCData SSIS Tasks for API を使用して、Scrapfly のデータをMicrosoft SQL Server データベースに転送する方法を説明します。
Components の追加
開始するには、新しいScrapfly ソースとSQL Server ADO.NET 転送先を新しいデータフロータスクに追加します。
新しいコネクションマネジャーを作成
以下のステップに従って、接続マネジャーでScrapfly 接続プロパティを保存します。
- Connection Manager ウィンドウで、右クリックで［New Connection］ を選択します。Add SSIS Connection Manager ダイアログが表示されます。
- ［Connection Manager type］メニューでAPI を選択します。CData Scrapfly Connection Manager が表示されます。
- 接続プロパティを構成します。
Scrapfly API は API キー認証を使用します。API キーは、すべてのリクエストで key クエリパラメータとして渡されます。
API キー認証の設定
接続を作成するには、Scrapfly の API キーが必要です。API キーを取得するには、以下のステップで進めます：
- scrapfly.io で Scrapfly アカウントにログインします。
- Dashboard に移動して API Keys を選択します。
- API キーをコピーします（本番環境用は scp-live-、テスト環境用は scp-test- で始まります）。
API キーを取得したら、以下の接続プロパティを設定します：
- AuthScheme：APIKey に設定します。
- APIKey：Scrapfly の API キーに設定します。
接続文字列の例：
Profile=C:\profiles\Scrapfly.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_api_key';
Scrapfly Source の構成
以下のステップに従って、Scrapfly の抽出に使用するクエリを指定します。
- Scrapfly ソースをダブルクリックしてソースコンポーネントエディタを開きます。
- ［Connection Manager］メニューで、以前作成した接続マネジャーを選択します。
- データの書き出しに使用するクエリを指定します。例：
SELECT , FROM Account WHERE = ''
- Scrapfly Source コントロールを閉じて、ADO.NET Destination に接続します。
SQL Server Destination を構成する
以下のステップに従って、Scrapfly をロードするSQL サーバーテーブルを指定します。
- ADO.NET Destination を選択して、新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力。
- Data access モードメニューで、［table or view］を選択します。
- ［Table Or View］メニューで、設定するテーブルまたはビューを選択します。
- ［Mappings］画面で必要なプロパティを設定します。
プロジェクトの実行
プロジェクトを実行できるようになりました。SSIS Task の実行が完了すると、データベースにScrapfly のデータが入力されます。