CData Connect AI 経由でPostgreSQL インターフェースからリアルタイムの Presto のデータに接続
インターネット上には数多くのPostgreSQL クライアントがあります。PostgreSQL はデータアクセスのための一般的なインターフェースです。PostgreSQL をCData Connect AI と組み合わせることで、PostgreSQL からリアルタイムのPresto のデータにデータベースのようにアクセスできます。この記事では、Connect AI でPresto のデータに接続し、TDS foreign data wrapper(FDW)を使用してConnect AI とPostgreSQL 間の接続を確立するプロセスを説明します。
CData Connect AI は Presto 専用のSQL Server インターフェースを提供し、ネイティブでサポートされているデータベースにデータをレプリケートすることなく Presto のデータをクエリできます。最適化されたデータ処理を標準で使用し、CData Connect AI はサポートされているすべてのSQL 操作(フィルター、JOIN など)を Presto に直接プッシュし、サーバーサイド処理を活用して必要なPresto のデータを迅速に返します。
Presto データ連携について
CData を使用すれば、Trino および Presto SQL エンジンのライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Trino v345 以降(旧 PrestoSQL)および Presto v0.242 以降(旧 PrestoDB)のデータにアクセスできます。
- Trino または Presto インスタンスの基盤となるすべてのデータに対して読み取り・書き込みアクセスができます。
- 最大スループットのための最適化されたクエリ生成。
Presto と Trino により、ユーザーは単一のエンドポイントを通じてさまざまな基盤データソースにアクセスできます。CData の接続と組み合わせることで、ユーザーはインスタンスへの純粋な SQL-92 アクセスを取得し、ビジネスデータをデータウェアハウスに統合したり、Power BI や Tableau などのお気に入りのツールからライブデータに直接簡単にアクセスしたりできます。
多くの場合、CData のライブ接続は、ツールで利用可能なネイティブのインポート機能を上回ります。あるお客様は、レポートに必要なデータセットのサイズが大きいため、Power BI を効果的に使用できませんでした。同社が CData Power BI Connector for Presto を導入したところ、DirectQuery 接続モードを使用してリアルタイムでレポートを生成できるようになりました。
はじめに
Connect AI で Presto に接続
CData Connect AI は、シンプルなポイント&クリック操作でデータソースに接続できるインターフェースを提供しています。
- Connect AI にログインして「Sources」をクリックし、 Add Connection をクリックします
- Add Connection パネルから「Presto」を選択します
-
Presto への接続に必要な認証プロパティを入力します。
Presto への接続には、まずはServer およびPort を接続プロパティとして設定します。それ以外の追加項目は接続方式によって異なります。
TLS/SSL を有効化するには、UseSSL をTRUE に設定します。
LDAP で認証
LDAP で認証するには、次の接続プロパティを設定します:
- AuthScheme: LDAP に設定。
- User: LDAP で接続するユーザー名。
- Password: LDAP で接続するユーザーのパスワード。
Kerberos 認証
KERBEROS 認証を使う場合には、以下を設定します:
- AuthScheme: KERBEROS に設定。
- KerberosKDC: 接続するユーザーのKerberos Key Distribution Center (KDC) サービス。
- KerberosRealm: 接続するユーザーのKerberos Realm 。
- KerberosSPN: Kerberos Domain Controller のService Principal Name。
- KerberosKeytabFile: Kerberos principals とencrypted keys を含むKeytab file。
- User: Kerberos のユーザー。
- Password: Kerberos で認証するユーザーのパスワード。
- Save & Test をクリックします
-
Add Presto Connection ページの「Permissions」タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token の追加
REST API、OData API、またはVirtual SQL Server 経由でConnect AI に接続する場合、Personal Access Token(PAT)を使用してConnect AI への接続を認証します。アクセス管理の粒度を維持するために、サービスごとに個別のPAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- Settings ページで「Access Tokens」セクションに移動し、 Create PAT をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- Personal Access Token は作成時にのみ表示されるため、必ずコピーして安全な場所に保存してください。
接続の設定とPAT の生成が完了したら、PostgreSQL からPresto のデータに接続する準備が整いました。
TDS Foreign Data Wrapper のビルド
Foreign Data Wrapper は、PostgreSQL を再コンパイルすることなく、PostgreSQL の拡張機能としてインストールできます。例として tds_fdw 拡張機能を使用します(https://github.com/tds-fdw/tds_fdw)。
- 以下のようにgit リポジトリをクローンしてビルドできます:
sudo apt-get install git git clone https://github.com/tds-fdw/tds_fdw.git cd tds_fdw make USE_PGXS=1 sudo make USE_PGXS=1 install
注意:複数のPostgreSQL バージョンがあり、デフォルト以外のバージョン用にビルドする場合は、まずpg_config のバイナリの場所を見つけてフルパスをメモし、make コマンドでUSE_PGXS=1 の後にPG_CONFIG=を追加します。 - インストールが完了したら、サーバーを起動します:
sudo service postgresql start
- 次に、Postgres データベースに入ります
psql -h localhost -U postgres -d postgres
注意:localhost の代わりにPostgreSQL がホストされているIP を指定することもできます。
PostgreSQL データベースとしてPresto のデータに接続し、データをクエリ!
拡張機能をインストールした後、以下の手順に従ってPresto のデータへのクエリを開始します:
- データベースにログインします。
- データベース用の拡張機能をロードします:
CREATE EXTENSION tds_fdw;
- Presto のデータ 用のサーバーオブジェクトを作成します:
CREATE SERVER "Presto1" FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername'tds.cdata.com', port '14333', database 'Presto1');
- Connect AI アカウントのメールアドレスとPersonal Access Token を使用してユーザーマッピングを設定します:
CREATE USER MAPPING for postgres SERVER "Presto1" OPTIONS (username '[email protected]', password 'your_personal_access_token' );
- ローカルスキーマを作成します:
CREATE SCHEMA "Presto1";
- ローカルデータベースに外部テーブルを作成します:
#table_name 定義を使用: CREATE FOREIGN TABLE "Presto1".Customer ( id varchar, LastName varchar) SERVER "Presto1" OPTIONS(table_name 'Presto.Customer', row_estimate_method 'showplan_all'); #またはschema_name とtable_name 定義を使用: CREATE FOREIGN TABLE "Presto1".Customer ( id varchar, LastName varchar) SERVER "Presto1" OPTIONS (schema_name 'Presto', table_name 'Customer', row_estimate_method 'showplan_all'); #またはquery 定義を使用: CREATE FOREIGN TABLE "Presto1".Customer ( id varchar, LastName varchar) SERVER "Presto1" OPTIONS (query 'SELECT * FROM Presto.Customer', row_estimate_method 'showplan_all'); #またはリモートカラム名を設定: CREATE FOREIGN TABLE "Presto1".Customer ( id varchar, col2 varchar OPTIONS (column_name 'LastName')) SERVER "Presto1" OPTIONS (schema_name 'Presto', table_name 'Customer', row_estimate_method 'showplan_all');
- これで、Presto に対して読み取り/書き込みコマンドを実行できます:
SELECT id, LastName FROM "Presto1".Customer;
詳細情報と無償トライアル
これで、リアルタイムのPresto のデータからシンプルなクエリを作成できました。Presto(およびその他200以上のデータソース)への接続の詳細については、Connect AI ページをご覧ください。無償トライアルに登録して、今すぐPostgreSQL でリアルタイムのPresto のデータを活用してみてください。