CloverDX(旧CloverETL)で Hacker News のデータ に接続

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
CloverDX データ統合ツールのビジュアルワークフローを使って Hacker News のデータ を転送。



CData JDBC Driver for Hacker News を使用すると、CloverDX(旧CloverETL)のデータ変換コンポーネントで Hacker News をソースとして扱えます。この記事では、JDBC Driver for Hacker News を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

JDBC データソースとして Hacker News に接続

  1. Hacker News のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
  2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.api.jar ファイルを選択します。
  3. JDBC URL を入力します。

    HackerNews への接続

    HackerNews API(Firebase 製)は、認証が不要なパブリック API です。認証情報なしですぐに接続してデータをクエリできます。

    以下の接続プロパティを設定して接続を確立してください:

    • AuthScheme:None に設定します。

    接続文字列の例:

    Profile=C:\profiles\HackerNews.apip;AuthScheme=None
    

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、Hacker News JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

    java -jar cdata.jdbc.api.jar
    

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    一般的なJDBC URL は次のようになります:

    jdbc:api:Profile=C:\profiles\HackerNews.apip;AuthScheme=None

DBInputTable コンポーネントで Hacker News のデータ をクエリ

  1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
  2. 「DB connection」プロパティで、ドロップダウンメニューから Hacker News JDBC データソースを選択します。
  3. SQL クエリを入力します。例:
    SELECT ,  FROM TopStories WHERE  = ''

クエリの出力をUniversalDataWriter に書き込む

  1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
  2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
  3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
  4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter の「Select Metadata」メニューで、TopStories テーブルを選択します。(このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。)
  6. 「Run」をクリックして、ファイルに書き込みます。

はじめる準備はできましたか?

API Driver で Hacker News のライブデータに接続

Hacker News に接続