Amazon SageMaker Canvas から RDS 経由で BigQuery のリアルタイムデータを活用
Amazon SageMaker Canvas は、コードを書かずに予測の生成、データの準備、モデルの構築ができるノーコード機械学習プラットフォームです。CData Connect AI と組み合わせることで、クラウド間でリアルタイムにBigQuery のデータにアクセスし、カスタム機械学習モデルの構築、顧客離反予測、テキスト生成、チャットボット開発など、さまざまな用途に活用できます。この記事では、RDS コネクタを使用して Amazon SageMaker Canvas から Connect AI に接続し、BigQuery のデータを ML モデルのデプロイメントに統合する方法をご紹介します。
CData Connect AI は、BigQuery 向けに純粋な SQL インターフェースをクラウド間で提供します。これにより、データをレプリケーションすることなく、Amazon SageMaker Canvas からBigQuery のデータに簡単に接続できます。Connect AI は Amazon SageMaker Canvas からは SQL Server データベースとまったく同じように見え、フィルタや JOIN などの SQL 操作をBigQueryに直接プッシュする最適化されたデータ処理により、サーバーサイド処理を活用してBigQuery のデータをすばやく取得します。
BigQuery データ連携について
CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
- BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
- SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。
多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。
CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください:https://jp.cdata.com/blog/what-is-bigquery
はじめに
BigQuery への接続を設定(Amazon SageMaker Canvas 向け)
Amazon SageMaker Canvas から BigQuery への接続は、CData Connect AI を介して行います。それでは、BigQuery のデータを Amazon SageMaker Canvas から利用できるようにするため、BigQuery への接続を作成していきましょう。
- Connect AI にログインして「Sources」をクリック、次に「 Add Connection」をクリック
- 接続を追加パネルから「BigQuery」を選択
-
BigQuery に接続するために必要な認証プロパティを入力します。
BigQuery 接続プロパティの取得・設定方法
Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。
OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。
OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。
- 「Save & Test」をクリック
-
BigQuery 接続の追加ページで「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークンを追加
REST API、OData API、または仮想 SQL Server を通じて Connect AI に接続する場合は、パーソナルアクセストークン(PAT)を使用して認証を行います。アクセス管理を細かく制御するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- 設定ページで「Access Tokens」セクションに移動し、「 Create PAT」をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、今後の利用のために安全に保管してください。
接続の設定と PAT の生成が完了したら、Amazon SageMaker Canvas からBigQuery のデータに接続する準備は完了です。
Amazon SageMaker Canvas から CData Connect AI に接続
CData Connect AI での接続設定が完了したら、RDS コネクタを使用してBigQuery のデータを Amazon SageMaker Canvas に統合していきましょう。
- Amazon SageMaker Canvas でドメインとユーザープロファイルを選択し、「Open Canvas」をクリックします。
- Canvas アプリケーションが開いたら、左側のパネルに移動して「My models」を選択します。
- My models 画面で「Create new model」をクリックします。
- Create new model ウィンドウでモデル名を入力し、Problem type を選択します。「Create」をクリックします。
- モデルバージョンが作成されたら、Select dataset タブで「Create dataset」をクリックします。
- Create a tabular dataset ウィンドウで「Dataset name」を入力し、「Create」をクリックします。
- 「Data Source」ドロップダウンをクリックして RDS コネクタを検索またはナビゲートし、「 Add Connection」をクリックします。
- Add a new RDS connection ウィンドウで、以下のプロパティを設定します。
- Connection Name: 任意の接続名
- Engine type を sqlserver-web に設定
- Port を 14333 に設定
- Address を tds.cdata.com に設定
- Username を Connect AI ユーザー(例: [email protected])に設定
- Password を上記ユーザーの PAT に設定
- Database name を BigQuery 接続名(例: GoogleBigQuery1)に設定
- 「Create connection」をクリックします。
BigQuery を Amazon SageMaker Canvas に統合
RDS で Connect AI への接続が設定できたら、BigQuery のデータを Amazon SageMaker Canvas のデータセットに統合していきましょう。
- BigQuery のデータで作成した RDS のテーブル形式データセットで、検索バーまたは接続リストから Connect AI で設定した BigQuery 接続を検索します。
- BigQuery から使用したいテーブルを選択し、右側のキャンバスにドラッグ&ドロップします。
- 以下のように、BigQuery 接続から任意の数のテーブルを結合してワークフローを作成できます。「Create dataset」をクリックします。
- データセットが作成されたら、「Select dataset」をクリックしてモデルを構築します。
- 分析を実行し、予測を生成してモデルをデプロイします。
これで、Amazon SageMaker からBigQuery のデータにリアルタイムでアクセスできるようになりました。カスタム ML モデルを構築し、ビジネスの予測インサイトを生成して、組織の成長に活用してください。
クラウドアプリケーションから BigQuery への SQL アクセス
Amazon SageMaker Canvas からBigQuery のデータへのダイレクト接続が完成しました。データをレプリケーションすることなく、接続やデータセット、予測モデルをさらに追加してビジネスを推進できます。
300 以上の SaaS、ビッグデータ、NoSQL ソースにクラウドアプリケーションから直接リアルタイムアクセスするには、CData Connect AI をご覧ください。