Airbyte ELT パイプラインで Typeform のデータに接続
Airbyte は、データウェアハウス、データレイク、データベースなど、あらゆるデータストアにデータをロードできる強力なツールです。CData Connect AI と組み合わせることで、Airbyte ユーザーはリアルタイムの Typeform のデータ から直接 Extract, Load, Transform(ELT)パイプラインを作成できます。本記事では、Connect AI を通じて Typeform に接続し、Airbyte 内で Typeform のデータ の ELT パイプラインを構築する手順を説明します。
CData Connect AI は、Typeform を含む数百のデータソースをSQL Server 互換エンドポイントとして公開するクラウドサービスです。Airbyte からは通常のSQL Server と同じ手順で接続でき、レプリケーション不要でライブのTypeform のデータを利用できます。
Airbyte 用に Typeform への接続を構成
Airbyte から Typeform への接続は、CData Connect AI を介して実現します。Airbyte で Typeform のデータ を利用するには、まず Typeform 接続を作成・設定します。
- Connect AI にログインし、Sources をクリックして、 Add Connection をクリックします
- Add Connection パネルから「Typeform」を選択します
-
Typeform に接続するために必要な認証プロパティを入力します。
まず、Profile 接続プロパティにTypeForm プロファイルのディスク上の場所を設定します(例:C:\profiles\TypeForm.apip)。次に、ProfileSettings 接続プロパティにTypeForm の接続文字列を設定します(以下を参照)。
TypeForm API プロファイル設定
TypeForm への認証にはOAuth 標準を使用します。
TypeForm に認証するには、まずTypeForm でOAuth アプリケーションを登録および設定する必要があります:https://admin.typeform.com/account#/section/tokens。アプリにはclient ID とclient secret が割り当てられ、接続文字列で設定できます。OAuth アプリケーションの設定の詳細については、https://developer.typeform.com/get-started/ をご参照ください。
使用シナリオによって異なるリダイレクトURI が必要です:
- CData デスクトップアプリケーション:CData デスクトップアプリケーション(Sync、API Server、ArcESB)は/src/oauthCallback.rst でOAuth トークンを受け入れます。ホストとポートはアプリケーションが使用するデフォルトポートと同じです。例えば、http://localhost:8019/ でCData Sync にアクセスする場合、リダイレクトURI はhttp://localhost:8019/src/oauthCallback.rst になります。
- CData クラウドアプリケーション:CData クラウドアプリケーションはデスクトップ版と同様です。https://1.2.3.4/ でConnect AI にアクセスする場合、リダイレクトはhttps://1.2.3.4/src/oauthCallback.rst を使用します。
- デスクトップアプリケーション:デスクトップアプリケーションを使用する場合、URI はhttps://localhost:33333 を推奨します。
- Web アプリケーション:ドライバーを使用してWeb アプリケーションを開発する場合、https://my-website.com/oauth のような独自のURI を使用します。
以下の接続プロパティを設定すると、接続の準備が整います:
- AuthScheme:OAuth に設定します。
- InitiateOAuth:GETANDREFRESH に設定します。InitiateOAuth を使用してOAuthAccessToken を取得するプロセスを管理できます。
- OAuthClientId:アプリ設定で指定されているClient Id を設定します。
- OAuthClientSecret:アプリ設定で指定されているClient Secret を設定します。
- CallbackURL:アプリ設定で指定したRedirect URI を設定します。
- Save & Test をクリックします
-
Add Typeform Connection ページの Permissions タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークンの追加
REST API、OData API、または仮想 SQL Server を介して Connect AI に接続する際、パーソナルアクセストークン(PAT)を使用して Connect AI への接続を認証します。アクセスの粒度を維持するために、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- Settings ページで Access Tokens セクションに移動し、 Create PAT をクリックします。
-
PAT に名前を付けて Create をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、将来の使用に備えて安全な場所に保存してください。
接続の設定と PAT の生成が完了したら、Airbyte から Typeform のデータ に接続する準備が整いました。
Airbyte から Typeform に接続
Airbyte から CData Connect AI への接続を確立するには、以下の手順に従います。
- Airbyte アカウントにログインします
- 左側のパネルで Sources をクリックし、Add New Source をクリックします
- Source Type を MSSQL Server に設定して TDS エンドポイントに接続します
- Source Name を設定します
- Host URL を tds.cdata.com に設定します
- Port を 14333 に設定します
- Database を事前に設定した接続名(例:API1)に設定します
- Username を Connect AI のユーザー名に設定します
- SSL Method を Encrypted (trust server certificate) に設定し、Replication Method は標準のまま、SSH Tunnel Method を No Tunnel に設定します
- (オプション)Schema にソースに適用したい値を設定します
- Password を Connect AI の PAT に設定します
- (オプション)必要な JDBC URL パラメータを入力します
- Test and Save をクリックしてデータソースを作成します。
Typeform のデータ用の ELT パイプラインを作成
Typeform のデータ を新しい同期先に接続するには、Sources をクリックし、Set Up Connection をクリックして同期先に接続します。上記で作成したソースと目的の同期先を選択し、Airbyte の処理が完了するまで待ちます。完了すると、接続が使用可能になります。
CData Connect AI の入手
Airbyte から 数百種類の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスを実現するには、 CData Connect AI をぜひお試しください!