MuleSoft でリアルタイムの Snowflake のデータを連携(CData Connect AI 経由)
MuleSoft Anypoint Platform は、API と統合の構築、デプロイ、管理を可能にし、アプリケーションとシステム間のシームレスな接続を実現します。CData Connect AI と組み合わせることで、Snowflake のデータ にアクセスしてビジュアライゼーション、ダッシュボードなどに活用できます。この記事では、CData Connect AI を使用して Snowflake へのリアルタイム接続を作成し、MuleSoft Anypoint Platform からリアルタイムのSnowflake のデータに接続してアクセスする方法を説明します。
前提条件
MuleSoft をCData Connect AI と一緒に設定して使用する前に、まずCData Connect AI アカウントにデータソースを接続する必要があります。詳細については、Connections セクションを参照してください。
また、Settings ページでPersonal Access Token(PAT)を生成する必要があります。認証時にパスワードとして使用するため、必ずコピーして保存してください。
Snowflake データ連携について
CData は、Snowflake のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- Snowflake データを迅速かつ効率的に読み書きできます。
- 指定された Warehouse、Database、Schema のメタデータを動的に取得できます。
- OAuth、OKTA、Azure AD、Azure マネージド サービス ID、PingFederate、秘密鍵など、さまざまな方法で認証できます。
多くの CData ユーザーは、CData ソリューションを使用して、お気に入りのツールやアプリケーションから Snowflake にアクセスし、さまざまなシステムからデータを Snowflake にレプリケートして、包括的なウェアハウジングと分析を行っています。
CData ソリューションとの Snowflake 統合についての詳細は、ブログをご覧ください:https://jp.cdata.com/blog/snowflake-integrations
はじめに
MuleSoft 用に Snowflake への接続を設定
MuleSoft から Snowflake への接続は、CData Connect AI によって実現されます。MuleSoft からSnowflake のデータを操作するには、まず Snowflake 接続を作成し設定します。
- Connect AI にログインして「Sources」をクリックし、 Add Connection をクリックします
- Add Connection パネルから「Snowflake」を選択します
-
Snowflake への接続に必要な認証プロパティを入力します。
それでは、Snowflake データベースに接続していきましょう。認証に加えて、以下の接続プロパティを設定します。
- Url:お使いのSnowflake URL を指定します。例:https://orgname-myaccount.snowflakecomputing.com
- Legacy URL を使用する場合:https://myaccount.region.snowflakecomputing.com
- ご自身のURL は以下のステップで確認できます。
- Snowflake UI の左下にあるユーザー名をクリックします
- Account ID にカーソルを合わせます
- Copy Account URL アイコンをクリックして、アカウントURL をコピーします
- Database(オプション):CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベースのものに制限したい場合に設定します
- Schema(オプション):CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベーススキーマのものに制限したい場合に設定します
Snowflakeへの認証
CData 製品では、Snowflake ユーザー認証、フェデレーション認証、およびSSL クライアント認証をサポートしています。認証するには、User とPassword を設定し、AuthScheme プロパティで認証方法を選択してください。
キーペア認証
ユーザーアカウントに定義されたプライベートキーを使用してセキュアなトークンを作成し、キーペア認証で接続することも可能です。この方法で接続するには、AuthScheme をPRIVATEKEY に設定し、以下の値を設定してください。
- User:認証に使用するユーザーアカウント
- PrivateKey:プライベートキーを含む.pem ファイルへのパスなど、ユーザーに使用されるプライベートキー
- PrivateKeyType:プライベートキーを含むキーストアの種類(PEMKEY_FILE、PFXFILE など)
- PrivateKeyPassword:指定されたプライベートキーのパスワード
その他の認証方法については、ヘルプドキュメントの「Snowflakeへの認証」セクションをご確認ください。
- Url:お使いのSnowflake URL を指定します。例:https://orgname-myaccount.snowflakecomputing.com
- Save & Test をクリックします
-
Add Snowflake Connection ページの「Permissions」タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token の追加
REST API、OData API、またはVirtual SQL Server 経由でConnect AI に接続する場合、Personal Access Token(PAT)を使用してConnect AI への接続を認証します。アクセス管理の粒度を維持するために、サービスごとに個別のPAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- Settings ページで「Access Tokens」セクションに移動し、 Create PAT をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- Personal Access Token は作成時にのみ表示されるため、必ずコピーして安全な場所に保存してください。
接続の設定とPAT の生成が完了したら、Mulesoft からSnowflake のデータに接続する準備が整いました。
CData Connect AI への接続
JDBC ドライバーを使用してMulesoft からCData Connect AI への接続を確立するには、以下の手順に従います:
-
CData Connect AI JDBC ドライバーをダウンロードしてインストールします。
- CData Connect AI のIntegrations ページを開きます。
- JDBC を検索して選択します。
- セットアップファイルをダウンロードして実行します。
- インストールが完了すると、JAR ファイルはインストールディレクトリ(lib フォルダ内)にあります。
- Mulesoft Anypoint Studio にログインするか、デスクトップアプリケーションを起動します。
- 新しいMulesoft プロジェクトを作成します。
新しいプロジェクトがプロジェクトフォルダに表示されます。
- 右側のMule Palette で、HTTP Listener をMessage Flow エリアにドラッグします。
- HTTP Listener をクリックして設定します。
- Connector configuration の右側にある+ 記号をクリックします。HTTP Listener 設定ダイアログが表示されます。
- HTTP Listener を設定し、データをクエリするためのPort を指定してOK をクリックします。
- アクションを実行するためのpath を指定します。HTTP Listener の設定が完了しました。
- 右側のMule Palette で、検索バーにdatabase と入力します。
- 実行したいデータベース操作をMessage Flow エリアにドラッグします。この例ではSelect を選択します。
- Database Config ダイアログのConnection ドロップダウンからGeneric Connection を選択します。
- Configure ボタンをクリックしてJDBC ドライバーを設定します。ドロップダウンリストからUse local file を選択します。
- JDBC ドライバーのインストールからCData Connect AI JAR ファイルを探し、OK をクリックします。
- 以下の情報を入力します:
- URL: 接続用のURL。例:
jdbc:connect:Authscheme=Basic;user=username;password=PAT
注意:password には前提条件セクションで作成したPAT を指定します。 - Driver class name: ドライバークラス名として次を入力します:
cdata.jdbc.connect.ConnectDriver
- URL: 接続用のURL。例:
- Test Connection をクリックします。
- 接続が成功したら、エディターにSQL Query Text を入力します。右側のOutput タブでテーブルメタデータを確認できます。
- Mule Palette で、Transform Message をMessage Flow エリアにドラッグします。
- Transform Message をクリックして設定します。Output を次のように変更します:
- プロジェクトを保存して実行します。コンソールでMulesoft が依存関係の初期化を開始します。
- "Message source 'listener' on flow your_project_name successfully started" というメッセージが表示されたら、指定したエンドポイントでデータのクエリを開始できます。
- Postman アプリケーションを使用してクエリを実行し、データを確認します(以下に示すとおり)。
クラウドアプリケーションからの Snowflake のデータへのSQL アクセス
これで、MuleSoft Anypoint Platform からリアルタイムのSnowflake のデータへの直接接続が確立されました。Snowflake のデータ をレプリケートすることなく、シームレスなデータフロー、ビジネスプロセスの自動化、API の管理を実現するために、さらに多くの接続を作成できます。
クラウドアプリケーションから Snowflake(およびその他300以上のSaaS、Big Data、NoSQL ソース)へのリアルタイムデータアクセスを実現するには、CData Connect AI をご覧ください。