こんにちは。CData Software Japan リードエンジニアの杉本です。

今回はガートナーの Magic Quadrant でも取り上げられている Enterprise 向け iPaaS・SnapLogicとCData JDBC Driver を組み合わせて、メール配信サービスの SendGrid を利用する方法を紹介したいと思います。

www.snaplogic.com

SnapLogic とは？

SnapLogic はノーコードでデータインテグレーションのフローを作成することができる、Enterprise 向けのiPaaSです。

www.snaplogic.com

iPaaS名前が出てくる前、2006年から設立され、EAI・ETLとしてサービスを提供していたので、昨今流行りのSaaSだけでなく、レガシーなデータベースやHadoop周りのビッグデータ処理サービスなどにも接続先としてサポートしているのが特徴的だと思います。

2019年に大型の資金調達を行って話題にも上がっていましたね。

techcrunch.com

ブロックスタイルでフローを組み立てる感じのUIで開発することができます。IN/OUT・処理が直感的にわかりやすいのが良いですね。

さらに、データベースにJDBC経由で接続できるコネクタが含まれており、CData JDBC Driver と組み合わせることで、CData が対応している様々なデータソースとの接続を拡張することができるようになります。

www.cdata.com

今回の記事ではこのJDBC接続とCData JDBC Driver を使って、SnapLogic から SendGrid に接続する方法を紹介します。

シナリオ

今回は前述の通り、SnapLogic を用いて Sendgrid のデータを他のサービスと連携させます。対象の外部サービスはBigQueryを選んでみました。

最終的に作成するフローは以下のようなイメージです。

SnapLogic でも数多くのコネクターが提供されていますが、現状はSendGridのコネクターが提供されていません。

docs-snaplogic.atlassian.net

しかしながら、標準で備えているJDBC コネクターとCData JDBC Driver ラインナップを組み合わせることで、SnapLogicが標準で接続できないクラウドサービスやNoSQLへの連携も可能にします。

例えば、国産クラウドサービスのkintoneやSansanには対応していないので、ここをCData JDBC Driverで橋渡しすることができます。

www.cdata.com

手順

CData SendGrid JDBC Driver のインストール・セットアップ

まず、CData SendGrid JDBC Driverをダウンロード・セットアップします。

CData SendGrid JDBC Driver は以下のURLから30日間のトライアル版が入手できます。

www.cdata.com

インストーラーを立ち上げると、以下のような画面になるので、ダイアログに従ってセットアップを完了してください。

セットアップが完了すると以下のようにDriver本体となる「jar」ファイルが所定のフォルダに生成されます。

これを SnapLogic をアップロードして、SendGrid 接続を利用できるようにします。

コネクションの作成

それでは、SnapLogic から SendGrid へのコネクションを作成していきましょう。

SnapLogic では以下のJDBC コネクターを使っていきます。

まずはデータ取得のためのコネクター「Generic JDBC - Select」を配置します。

配置後、「Account」タブを選択して、接続情報を追加します。

「Add Account」をクリックし

「Continue」をクリックします。

ここでJDBCの接続情報を追加しますが、まずは接続に利用するJDBC Driver本体をアップロードしましょう。

以下のJDBC JARsからデータベースのアイコンをクリックします。

「Upload File」ボタンをクリックして、対象のJDBC Driverを選択しましょう。

SendGrid JDBC Driver は「C:\Program Files\CData\CData JDBC Driver for SendGrid 2021J\lib」のフォルダに配置されています。

アップロードしたら、必要な項目を入力します。

各プロパティの詳しい解説は以下のヘルプページでも解説しています。

cdn.cdata.com

RTKはトライアルキーになります。詳しくはCData テクニカルサポートデスクまでお問い合わせください。

入力後、「Validate」をクリックしてOKであれば、「Apply」をクリックして適用します。

続いて、データを取得するための諸条件を指定しましょう。

今回はSendGridのRecipients（受信者リスト）を取得してみます。

Table name に「Recipients」を指定し、Output fieldsで取得したい項目をそれぞれ指定していきます。取得できる項目に関しては、以下のヘルプを参照してみてください。必要に応じて他の諸条件も指定できます。

cdn.cdata.com

接続設定が完了したら、データをプレビューしてみましょう。

以下のようにコネクタの末尾をクリックするとプレビュー画面に移動します。

以下のようにデータが取得できていればOKです。

取得したデータをBigQuery に流し込んで見る

それでは、SendGridから取得したデータをBigQuery に流し込んでみましょう。今回はBigQuery 上にあらかじめ以下のようなテーブルを作成しておきました。

SnapLogicでは標準のBigQuery コネクターが存在するので、今回はこの中の「Google BigQuery Write」を利用しました。

フローを配置したら、「Account」タブからコネクションを「Google BigQuery OAuth2」で追加します。

必要な情報を入力して、コネクションを確立すると、OAuthプロセスが開始され、ログインが完了します。

Accountの作成が完了したら、「Settings」タブで連携先となるBigQuery のProjectIDやDataset ID、Table IDをそれぞれ指定します。

BigQuery のコネクションを作成したら以下のように先程構成したSendGrid の JDBC コネクタと接続しましょう。

フローができたら画面右上の実行ボタンをクリックすることでフローを手動で動かすことができます。

実行完了後、BigQuery を確認してみると、正常にデータが取り込まれていました。

ちなみに今回はBigQuery のテーブルとカラムを一致させていたのでストレートに流し込みましたが、Mapperを使って項目を組み替えることも可能です。

データの Insert

なお、今回はデータの取得のフローでJDBC Driverを利用しましたが、「Generic JDBC - Insert」を利用することで、SendGridにデータを書き込むことも可能です。

設定はシンプルで対象のテーブルをTable Nameで指定し

Mapperでマッピングするだけです。

おわりに

このようにCData JDBC Driver と SnapLogicを組み合わせることで、簡単にサポートされていないサービスへの接続を拡張させることができます。

他にも様々なデータソース用コネクターがありますので、ぜひ自社で使っているサービスと合わせて試してみてください。

www.cdata.com