ODBC 経由で R から ScrapingBee のデータ を分析

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
Microsoft R Open で ScrapingBee のデータ のデータビジュアライゼーションを作成し、高性能な統計関数で分析。

純粋な R スクリプトと標準 SQL で ScrapingBee のデータ にアクセスできます。CData ODBC ドライバ for ScrapingBee と RODBC パッケージを使用すると、R からリモート ScrapingBee のデータ を操作できます。CData ドライバを使用することで、業界で実績のある標準に準拠したドライバを活用し、人気のオープンソース言語 R でデータにアクセスできます。この記事では、ドライバを使用して ScrapingBee のデータ に SQL クエリを実行し、R で ScrapingBee のデータ を可視化する方法を説明します。

R をインストール

マルチスレッドや管理コードによるドライバのパフォーマンス向上は、マルチスレッド対応の Microsoft R Open や、BLAS/LAPACK ライブラリにリンクした R を実行することで補完できます。この記事では Microsoft R Open(MRO)を使用します。

ScrapingBee にODBC データソースとして接続

ScrapingBee への接続情報と、Windows および Linux 環境での DSN 設定手順を説明します。

API キー認証の設定

ScrapingBee は API キー認証を使用します。API キーを取得するには、以下のステップで進めます:

  1. https://app.scrapingbee.com で ScrapingBee アカウントにサインインします
  2. Dashboard に移動して、上部のセクションで API キーを確認します。
  3. 接続文字列で使用する API キーをコピーします。

API キーを取得したら、以下の接続プロパティを設定します:

  • AuthScheme:APIKey に設定します。
ProfileSettings 接続プロパティには以下を設定します:
  • APIKey:ScrapingBee の API キーに設定します。

接続文字列の例

Profile=C:\profiles\ScrapingBee.apip;AuthScheme=APIKey;ProfileSettings="APIKey=your_api_key";

ScrapingBee への接続

認証を設定すると、ScrapingBee に接続して、利用可能なテーブルからデータをクエリできます。すべてのテーブルでは、データを取得するために少なくとも 1 つの入力パラメータ(検索クエリや商品 ID など)が必要です。

DSN を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時のパフォーマンス向上に役立ちます。

Windows

まだ設定していない場合は、ODBC DSN(データソース名)で接続プロパティを指定します。これはドライバーインストールの最後のステップです。Microsoft ODBC データソースアドミニストレーターを使用して、ODBC DSN を作成・設定できます。

Linux

Linux 環境で CData ODBC Driver for ScrapingBee をインストールする場合、ドライバーのインストール時にシステム DSN が事前定義されます。システムデータソースファイル(/etc/odbc.ini)を編集して、必要な接続プロパティを定義することで DSN を変更できます。

/etc/odbc.ini

[CData API Source]
Driver = CData ODBC Driver for ScrapingBee
Description = My Description
Profile = C:\profiles\ScrapingBee.apip
AuthScheme = APIKey
ProfileSettings = "APIKey = your_api_key"

これらの設定ファイルの使用方法の詳細については、ヘルプドキュメント(インストール済みまたはオンライン)を参照してください。

RODBC パッケージを読み込む

ドライバを使用するには、RODBC パッケージをダウンロードします。RStudio で、[ツール] -> [パッケージのインストール]をクリックし、[パッケージ]ボックスに RODBC と入力します。

RODBC パッケージをインストールした後、以下の行でパッケージを読み込みます。

library(RODBC)

注意:この記事では RODBC バージョン 1.3-12 を使用しています。Microsoft R Open を使用すると、Microsoft の MRAN リポジトリのチェックポイント機能を使用して同じバージョンでテストできます。 checkpoint コマンドを使用すると、MRAN リポジトリでホストされている CRAN リポジトリのスナップショットからパッケージをインストールできます。2016年1月1日のスナップショットにはバージョン 1.3-12 が含まれています。

library(checkpoint)
checkpoint("2016-01-01")

ScrapingBee のデータ にODBC データソースとして接続

以下の行で R から DSN に接続できます。

conn <- odbcConnect("CData API Source")

スキーマの検出

ドライバは ScrapingBee API をリレーショナルテーブル、ビュー、ストアドプロシージャとしてモデル化します。以下の行でテーブルの一覧を取得できます。

sqlTables(conn)

SQL クエリを実行

sqlQuery 関数を使用して、ScrapingBee API でサポートされている任意の SQL クエリを実行できます。

googlesearchresults <- sqlQuery(conn, "SELECT ,  FROM GoogleSearchResults WHERE SearchQuery = 'cdata drivers'", believeNRows=FALSE, rows_at_time=1)

以下のコマンドでデータビューアウィンドウに結果を表示できます。

View(googlesearchresults)

ScrapingBee のデータ をプロット

これで、CRAN リポジトリで利用可能なデータビジュアライゼーションパッケージを使用して ScrapingBee のデータ を分析できます。組み込みのバープロット関数を使用して、シンプルな棒グラフを作成できます。

par(las=2,ps=10,mar=c(5,15,4,2))
barplot(googlesearchresults$, main="ScrapingBee GoogleSearchResults", names.arg = googlesearchresults$, horiz=TRUE)

はじめる準備はできましたか?

API Driver で ScrapingBee のライブデータに接続

ScrapingBee に接続