CloverDX（旧CloverETL）で Scrapfly のデータ に接続

CData JDBC Driver for Scrapfly を使用すると、CloverDX（旧CloverETL）のデータ変換コンポーネントで Scrapfly をソースとして扱えます。この記事では、JDBC Driver for Scrapfly を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

JDBC データソースとして Scrapfly に接続

1. Scrapfly のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.api.jar ファイルを選択します。
3. JDBC URL を入力します。

   Scrapfly API は API キー認証を使用します。API キーは、すべてのリクエストで key クエリパラメータとして渡されます。

   API キー認証の設定

   接続を作成するには、Scrapfly の API キーが必要です。API キーを取得するには、以下のステップで進めます：

   1. scrapfly.io で Scrapfly アカウントにログインします。
   2. Dashboard に移動して API Keys を選択します。
   3. API キーをコピーします（本番環境用は scp-live-、テスト環境用は scp-test- で始まります）。

   API キーを取得したら、以下の接続プロパティを設定します：

   • AuthScheme：APIKey に設定します。
   • APIKey：Scrapfly の API キーに設定します。

   接続文字列の例：

   Profile=C:\profiles\Scrapfly.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_api_key';
   

   組み込みの接続文字列デザイナー

   JDBC URL の構築には、Scrapfly JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

   java -jar cdata.jdbc.api.jar
   

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   

   一般的なJDBC URL は次のようになります：

   jdbc:api:Profile=C:\profiles\Scrapfly.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_api_key';

DBInputTable コンポーネントで Scrapfly のデータ をクエリ

1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
2. 「DB connection」プロパティで、ドロップダウンメニューから Scrapfly JDBC データソースを選択します。
3. SQL クエリを入力します。例：

   SELECT ,  FROM Account WHERE  = ''

クエリの出力をUniversalDataWriter に書き込む

1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
5. UniversalDataWriter の「Select Metadata」メニューで、Account テーブルを選択します。（このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。）
6. 「Run」をクリックして、ファイルに書き込みます。