Amazon SageMaker Canvas から RDS 経由で Elasticsearch のリアルタイムデータを活用
Amazon SageMaker Canvas は、コードを書かずに予測の生成、データの準備、モデルの構築ができるノーコード機械学習プラットフォームです。CData Connect AI と組み合わせることで、クラウド間でリアルタイムにElasticsearch のデータにアクセスし、カスタム機械学習モデルの構築、顧客離反予測、テキスト生成、チャットボット開発など、さまざまな用途に活用できます。この記事では、RDS コネクタを使用して Amazon SageMaker Canvas から Connect AI に接続し、Elasticsearch のデータを ML モデルのデプロイメントに統合する方法をご紹介します。
CData Connect AI は、Elasticsearch 向けに純粋な SQL インターフェースをクラウド間で提供します。これにより、データをレプリケーションすることなく、Amazon SageMaker Canvas からElasticsearch のデータに簡単に接続できます。Connect AI は Amazon SageMaker Canvas からは SQL Server データベースとまったく同じように見え、フィルタや JOIN などの SQL 操作をElasticsearchに直接プッシュする最適化されたデータ処理により、サーバーサイド処理を活用してElasticsearch のデータをすばやく取得します。
Elasticsearch データ連携について
CData を使用すれば、Elasticsearch のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- SQL エンドポイントと REST エンドポイントの両方にアクセスでき、接続を最適化し、Elasticsearch データの読み書きに関してより多くのオプションを提供します。
- v2.2 以降およびオープンソース Elasticsearch サブスクリプションを含む、ほぼすべての Elasticsearch インスタンスに接続できます。
- SCORE() 関数を明示的に要求することなく、常にクエリ結果の関連性スコアを受け取ることができます。これにより、サードパーティツールからのアクセスが簡素化され、クエリ結果のテキスト関連性のランキングを簡単に確認できます。
- 複数のインデックスを検索でき、クライアントマシンではなく Elasticsearch がクエリと結果の管理・処理を担当します。
ユーザーは、Crystal Reports、Power BI、Excel などの分析ツールと Elasticsearch データを統合し、当社のツールを活用して、Elasticsearch を含むすべてのデータソースへの単一のフェデレートアクセスレイヤーを実現しています。
CData の Elasticsearch ソリューションの詳細については、ナレッジベース記事をご覧ください:CData Elasticsearch Driver Features & Differentiators
はじめに
Elasticsearch への接続を設定(Amazon SageMaker Canvas 向け)
Amazon SageMaker Canvas から Elasticsearch への接続は、CData Connect AI を介して行います。それでは、Elasticsearch のデータを Amazon SageMaker Canvas から利用できるようにするため、Elasticsearch への接続を作成していきましょう。
- Connect AI にログインして「Sources」をクリック、次に「 Add Connection」をクリック
- 接続を追加パネルから「Elasticsearch」を選択
-
Elasticsearch に接続するために必要な認証プロパティを入力します。
Elasticsearch 接続プロパティの取得・設定方法
接続するには、Server およびPort 接続プロパティを設定します。 認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。
CData 製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を 使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。
接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。
- 「Save & Test」をクリック
-
Elasticsearch 接続の追加ページで「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークンを追加
REST API、OData API、または仮想 SQL Server を通じて Connect AI に接続する場合は、パーソナルアクセストークン(PAT)を使用して認証を行います。アクセス管理を細かく制御するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- 設定ページで「Access Tokens」セクションに移動し、「 Create PAT」をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、今後の利用のために安全に保管してください。
接続の設定と PAT の生成が完了したら、Amazon SageMaker Canvas からElasticsearch のデータに接続する準備は完了です。
Amazon SageMaker Canvas から CData Connect AI に接続
CData Connect AI での接続設定が完了したら、RDS コネクタを使用してElasticsearch のデータを Amazon SageMaker Canvas に統合していきましょう。
- Amazon SageMaker Canvas でドメインとユーザープロファイルを選択し、「Open Canvas」をクリックします。
- Canvas アプリケーションが開いたら、左側のパネルに移動して「My models」を選択します。
- My models 画面で「Create new model」をクリックします。
- Create new model ウィンドウでモデル名を入力し、Problem type を選択します。「Create」をクリックします。
- モデルバージョンが作成されたら、Select dataset タブで「Create dataset」をクリックします。
- Create a tabular dataset ウィンドウで「Dataset name」を入力し、「Create」をクリックします。
- 「Data Source」ドロップダウンをクリックして RDS コネクタを検索またはナビゲートし、「 Add Connection」をクリックします。
- Add a new RDS connection ウィンドウで、以下のプロパティを設定します。
- Connection Name: 任意の接続名
- Engine type を sqlserver-web に設定
- Port を 14333 に設定
- Address を tds.cdata.com に設定
- Username を Connect AI ユーザー(例: [email protected])に設定
- Password を上記ユーザーの PAT に設定
- Database name を Elasticsearch 接続名(例: Elasticsearch1)に設定
- 「Create connection」をクリックします。
Elasticsearch を Amazon SageMaker Canvas に統合
RDS で Connect AI への接続が設定できたら、Elasticsearch のデータを Amazon SageMaker Canvas のデータセットに統合していきましょう。
- Elasticsearch のデータで作成した RDS のテーブル形式データセットで、検索バーまたは接続リストから Connect AI で設定した Elasticsearch 接続を検索します。
- Elasticsearch から使用したいテーブルを選択し、右側のキャンバスにドラッグ&ドロップします。
- 以下のように、Elasticsearch 接続から任意の数のテーブルを結合してワークフローを作成できます。「Create dataset」をクリックします。
- データセットが作成されたら、「Select dataset」をクリックしてモデルを構築します。
- 分析を実行し、予測を生成してモデルをデプロイします。
これで、Amazon SageMaker からElasticsearch のデータにリアルタイムでアクセスできるようになりました。カスタム ML モデルを構築し、ビジネスの予測インサイトを生成して、組織の成長に活用してください。
クラウドアプリケーションから Elasticsearch への SQL アクセス
Amazon SageMaker Canvas からElasticsearch のデータへのダイレクト接続が完成しました。データをレプリケーションすることなく、接続やデータセット、予測モデルをさらに追加してビジネスを推進できます。
300 以上の SaaS、ビッグデータ、NoSQL ソースにクラウドアプリケーションから直接リアルタイムアクセスするには、CData Connect AI をご覧ください。