CloverDX(旧CloverETL)で Stack Exchange のデータ に接続

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
CloverDX データ統合ツールのビジュアルワークフローを使って Stack Exchange のデータ を転送。



CData JDBC Driver for Stack Exchange を使用すると、CloverDX(旧CloverETL)のデータ変換コンポーネントで Stack Exchange をソースとして扱えます。この記事では、JDBC Driver for Stack Exchange を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

JDBC データソースとして Stack Exchange に接続

  1. Stack Exchange のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
  2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.api.jar ファイルを選択します。
  3. JDBC URL を入力します。

    まず、Profile 接続プロパティをディスク上の Stack Exchange プロファイルの場所に設定します(例:C:\profiles\StackExchange.apip)。次に、ProfileSettings 接続プロパティを Stack Exchange の接続文字列に設定します(以下を参照)。

    Stack Exchange API プロファイル設定

    StackApps でアプリケーションを登録して、API キーを取得します。Site プロパティでは、クエリ対象の Stack Exchange サイトを指定します(例:stackoverflow)。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、Stack Exchange JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

    
    java -jar cdata.jdbc.api.jar
    

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    組み込みの接続文字列デザイナーでJDBC URL を生成(Salesforce の例)

    一般的なJDBC URL は次のようになります:

    jdbc:api:Profile=C:\profiles\StackExchange.apip;ProfileSettings='APIKey=your_api_key;Site=stackoverflow';
JDBC URL で指定した必須の接続プロパティ(Salesforce の例)

DBInputTable コンポーネントで Stack Exchange のデータ をクエリ

  1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
  2. 「DB connection」プロパティで、ドロップダウンメニューから Stack Exchange JDBC データソースを選択します。
  3. SQL クエリを入力します。例:
    SELECT AnswerId, CreationDate FROM Answers WHERE IsAccepted = 'true'

クエリの出力をUniversalDataWriter に書き込む

  1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
  2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
  3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
  4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter の「Select Metadata」メニューで、Answers テーブルを選択します。(このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。)
  6. 「Run」をクリックして、ファイルに書き込みます。
フラットファイルへのシンプルな転送

はじめる準備はできましたか?

API Driver で Stack Exchange のライブデータに接続

Stack Exchange に接続