データ可視化ソリューション「Reveal」から Scrapfly に接続する方法
CData API Server を使って、Reveal にScrapfly データをフィードして、ビジュアライズを実現できます。コネクターによりリアルタイムデータ連携が可能になり、リフレッシュ操作で最新のデータを取得可能になります。この記事では、Reveal からScrapfly のデータに接続しビジュアライズする方法を説明します。
API Server の設定
以下のリンクからAPI Server の無償トライアルをスタートしたら、セキュアなScrapfly OData サービスを作成していきましょう。
Scrapfly への接続
Reveal からScrapfly のデータを操作するには、まずScrapfly への接続を作成・設定します。
- API Server にログインして、「Connections」をクリック、さらに「接続を追加」をクリックします。
- 「接続を追加」をクリックして、データソースがAPI Server に事前にインストールされている場合は、一覧から「Scrapfly」を選択します。
- 事前にインストールされていない場合は、コネクタを追加していきます。コネクタ追加の手順は以下の記事にまとめてありますので、ご確認ください。
CData コネクタの追加方法はこちら >> - それでは、Scrapfly への接続設定を行っていきましょう！
-
Scrapfly API は API キー認証を使用します。API キーは、すべてのリクエストで key クエリパラメータとして渡されます。
API キー認証の設定
接続を作成するには、Scrapfly の API キーが必要です。API キーを取得するには、以下のステップで進めます：
- scrapfly.io で Scrapfly アカウントにログインします。
- Dashboard に移動して API Keys を選択します。
- API キーをコピーします（本番環境用は scp-live-、テスト環境用は scp-test- で始まります）。
API キーを取得したら、以下の接続プロパティを設定します：
- AuthScheme：APIKey に設定します。
- APIKey：Scrapfly の API キーに設定します。
接続文字列の例：
Profile=C:\profiles\Scrapfly.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_api_key';
- 接続情報の入力が完了したら、「保存およびテスト」をクリックします。
Scrapfly API は API キー認証を使用します。API キーは、すべてのリクエストで key クエリパラメータとして渡されます。
API キー認証の設定
接続を作成するには、Scrapfly の API キーが必要です。API キーを取得するには、以下のステップで進めます：
- scrapfly.io で Scrapfly アカウントにログインします。
- Dashboard に移動して API Keys を選択します。
- API キーをコピーします（本番環境用は scp-live-、テスト環境用は scp-test- で始まります）。
API キーを取得したら、以下の接続プロパティを設定します：
- AuthScheme：APIKey に設定します。
- APIKey：Scrapfly の API キーに設定します。
接続文字列の例：
Profile=C:\profiles\Scrapfly.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_api_key';
API Server のユーザー設定
次に、API Server 経由でScrapfly にアクセスするユーザーを作成します。「Users」ページでユーザーを追加・設定できます。やってみましょう。
- 「Users」ページで ユーザーを追加をクリックすると、「ユーザーを追加」ポップアップが開きます。
-
次に、「ロール」、「ユーザー名」、「権限」プロパティを設定し、「ユーザーを追加」をクリックします。
-
その後、ユーザーの認証トークンが生成されます。各ユーザーの認証トークンとその他の情報は「Users」ページで確認できます。
Scrapfly 用のAPI エンドポイントの作成
ユーザーを作成したら、Scrapfly のデータ用のAPI エンドポイントを作成していきます。
-
まず、「API」ページに移動し、
「 テーブルを追加」をクリックします。
-
アクセスしたい接続を選択し、次へをクリックします。
-
接続を選択した状態で、各テーブルを選択して確認をクリックすることでエンドポイントを作成します。
OData のエンドポイントを取得
以上でScrapfly への接続を設定してユーザーを作成し、API Server でScrapfly データのAPI を追加しました。これで、OData 形式のScrapfly データをREST API で利用できます。API Server の「API」ページから、API のエンドポイントを表示およびコピーできます。
ダッシュボードの作成
それでは実際に可視化を行っていきます。「Reveal」ではダッシュボードという単位でいくつかのグラフを配置して、構成していきます。
- Revealにログインし、「新規」→「ダッシュボード」をクリックします。
- データソースから「ODataフィード」を選択し
- API ServerのAPIエンドポイントURLを指定し、資格情報を入力します。 URLは「https://XXXXXXX/api.rsc/」といったように末尾が「api.rsc」で終わっているものを入力します。
- 資格情報は「汎用資格情報」を選択し、
- あらかじめ作成しておいたAPI Serverのユーザー名と認証トークンをそれぞれ指定します。
- 認証完了後、エンティティセットを選択する画面に移動するので、取得したい任意のエンティティセットを選択します。
- これでダッシュボードを作成する準備が整いました。あとは Reveal の機能を使って、Scrapfly・API Serverから取得したデータを可視化・分析することができます。
- 以下のようなグラフを作成することができました。
このように Scrapfly 内のデータをAPI を書くことなく Reveal 上で処理することができるようになります。
おわりに
これで、リアルタイムScrapfly のデータから簡単なダッシュボードが作成できました。Scrapfly （および150 を超えるほかのソース）からのOData フィードの作成方法の詳細については、API Server のページにアクセスしてください。30 日間無料トライアルをダウンロードしてOData API を使用するツールでScrapfly のデータをリアルタイムに活用しましょう。