Google Data Fusion で Spotify に連携した ETL プロセスを作成
Google Data Fusion を使用すると、セルフサービス型のデータ連携を行い、異なるデータソースを統合できます。CData API Driver for JDBC をアップロードすることで、Google Data Fusion のパイプライン内から Spotify のデータ にリアルタイムでアクセスできるようになります。CData JDBC Driver を使用すると、Spotify のデータ を Google Data Fusion でネイティブにサポートされている任意のデータソースにパイプできますが、この記事では、Spotify から Google BigQuery へデータをパイプする方法を説明します。
CData API Driver for JDBC を Google Data Fusion にアップロード
CData API Driver for JDBC を Google Data Fusion インスタンスにアップロードして、Spotify のデータ にリアルタイムでアクセスしましょう。Google Data Fusion では JDBC ドライバーの命名規則に制限があるため、JAR ファイルを driver-version.jar という形式に合わせてコピーまたはリネームしてください。例：cdataapi-2020.jar
- Google Data Fusion インスタンスを開きます
- をクリックしてエンティティを追加し、ドライバーをアップロードします
- "Upload driver" タブで、リネームした JAR ファイルをドラッグまたは参照します。
- "Driver configuration" タブで以下を設定します：
- Name: ドライバーの名前（cdata.jdbc.api）を作成し、メモしておきます
- Class name: JDBC クラス名を設定します：（cdata.jdbc.api.APIDriver）
- "Finish" をクリックします
Google Data Fusion で Spotify のデータ に接続
JDBC Driver をアップロードしたら、Google Data Fusion のパイプラインで Spotify のデータ にリアルタイムでアクセスできます。
- Pipeline Studio に移動して、新しいパイプラインを作成します
- "Source" オプションから "Database" をクリックして、JDBC Driver 用のソースを追加します
- Database ソースの "Properties" をクリックしてプロパティを編集します
NOTE：Google Data Fusion で JDBC Driver を使用するには、ライセンス（製品版またはトライアル）とランタイムキー（RTK）が必要です。ライセンス（またはトライアル）の取得については、CData までお問い合わせください。
- Label を設定します
- Reference Name を将来の参照用の値に設定します（例：cdata-api）
- Plugin Type を "jdbc" に設定します
- Connection String を Spotify の JDBC URL に設定します。例：
jdbc:api:RTK=5246...;Profile=C:\profiles\Spotify.apip;AuthScheme=OAuth;InitiateOAuth=GETANDREFRESH;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;CallbackURL=http://localhost:33333;OAuth 認証の設定
Spotify は認証に OAuth 2.0 を使用します。クライアント認証情報を取得するには、Spotify Developer Dashboard でアプリケーションを作成する必要があります。
Spotify アプリケーションのセットアップ
- Spotify Developer Dashboard にアクセスします。
- Spotify アカウントでログインして Create app をクリックします。
- アプリ名、説明を入力し、Redirect URI を設定します（デスクトップアプリケーションの場合は
http://localhost:33333
など）。 - アプリ設定から Client ID と Client Secret をコピーします。
接続プロパティ
以下の接続プロパティを設定して接続を確立してください：
- AuthScheme：OAuth に設定します。
- InitiateOAuth：GETANDREFRESH に設定します。InitiateOAuth を使うと、OAuthAccessToken を取得するプロセスを管理できます。
- OAuthClientId：Spotify アプリケーションの Client ID に設定します。
- OAuthClientSecret：Spotify アプリケーションの Client Secret に設定します。
- Scope：必要な OAuth スコープ（スペース区切り）に設定します。デフォルトには、このプロファイルのテーブルに必要なすべての読み取りスコープが含まれます。
- CallbackURL：Spotify アプリケーションで設定したリダイレクト URI に設定します（例：http://localhost:33333）。
接続文字列の例
Profile=C:\profiles\Spotify.apip;AuthScheme=OAuth;InitiateOAuth=GETANDREFRESH;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;CallbackURL=http://localhost:33333;
利用可能な OAuth スコープ
- user-read-private：ユーザーのサブスクリプション詳細と露骨なコンテンツ設定への読み取りアクセス。
- user-read-email：ユーザーのメールアドレスへの読み取りアクセス。
- user-library-read：ユーザーが保存したトラック、アルバム、エピソード、ショー、オーディオブックへの読み取りアクセス。
- playlist-read-private：ユーザーの非公開プレイリストへの読み取りアクセス。
- playlist-read-collaborative：ユーザーがフォローしているコラボレーティブプレイリストへの読み取りアクセス。
- user-follow-read：現在のユーザーがフォローしているアーティストの一覧への読み取りアクセス。
- user-read-playback-state：ユーザーのプレーヤー状態（デバイス、現在のトラック、再生位置）への読み取りアクセス。
- user-read-currently-playing：ユーザーが現在再生中のコンテンツへの読み取りアクセス。
- user-read-playback-history：ユーザーが最近再生したトラックへの読み取りアクセス。
- user-top-read：ユーザーのトップアーティストとトラックへの読み取りアクセス。
ビルトイン接続文字列デザイナー
JDBC URL の作成には、Spotify JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。
java -jar cdata.jdbc.api.jar接続プロパティを入力し、接続文字列をクリップボードにコピーします。
- Import Query を Spotify から取得したいデータを抽出する SQL クエリに設定します。例：
SELECT * FROM Albums
- "Sink" タブから、同期先シンクを追加します（この例では Google BigQuery を使用します）
- BigQuery シンクの "Properties" をクリックしてプロパティを編集します
- Label を設定します
- Reference Name を api-bigquery のような値に設定します
- Project ID を特定の Google BigQuery プロジェクト ID に設定します（またはデフォルトの "auto-detect" のままにします）
- Dataset を特定の Google BigQuery データセットに設定します
- Table を Spotify のデータ を挿入するテーブル名に設定します
Source と Sink を設定すると、Spotify のデータ を Google BigQuery にパイプする準備が整います。パイプラインを保存してデプロイしてください。パイプラインを実行すると、Google Data Fusion が Spotify からリアルタイムデータをリクエストし、Google BigQuery にインポートします。
これはシンプルなパイプラインの例ですが、変換、分析、条件などを使用してより複雑な Spotify パイプラインを作成できます。CData API Driver for JDBC の 30日間の無償トライアルをダウンロードして、今すぐ Google Data Fusion で Spotify のデータ をリアルタイムで活用しましょう。