PHP のOData SDK を使用したAmazon Athena のデータのクエリ
CData API Server は、ADO.NET Provider for AmazonAthena(またはその他の250+ ADO.NET Providers のデータ)と組み合わせることでWeb サービスとしてAmazon Athena のデータを公開します。下記の手順に従って、Amazon Athena のデータをオブジェクトとして使用します。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
API Server の設定
以下のリンクからAPI Server の無償トライアルをスタートしたら、セキュアなAmazon Athena OData サービスを作成していきましょう。
Amazon Athena への接続
PHP からAmazon Athena のデータを操作するには、まずAmazon Athena への接続を作成・設定します。
- API Server にログインして、「Connections」をクリック、さらに「接続を追加」をクリックします。
- 「接続を追加」をクリックして、データソースがAPI Server に事前にインストールされている場合は、一覧から「Amazon Athena」を選択します。
- 事前にインストールされていない場合は、コネクタを追加していきます。コネクタ追加の手順は以下の記事にまとめてありますので、ご確認ください。
CData コネクタの追加方法はこちら >> - それでは、Amazon Athena への接続設定を行っていきましょう!
-
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
- 接続情報の入力が完了したら、「保存およびテスト」をクリックします。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
API Server のユーザー設定
次に、API Server 経由でAmazon Athena にアクセスするユーザーを作成します。「Users」ページでユーザーを追加・設定できます。やってみましょう。
- 「Users」ページで ユーザーを追加をクリックすると、「ユーザーを追加」ポップアップが開きます。
-
次に、「ロール」、「ユーザー名」、「権限」プロパティを設定し、「ユーザーを追加」をクリックします。
-
その後、ユーザーの認証トークンが生成されます。各ユーザーの認証トークンとその他の情報は「Users」ページで確認できます。
Amazon Athena 用のAPI エンドポイントの作成
ユーザーを作成したら、Amazon Athena のデータ用のAPI エンドポイントを作成していきます。
-
まず、「API」ページに移動し、
「 テーブルを追加」をクリックします。
-
アクセスしたい接続を選択し、次へをクリックします。
-
接続を選択した状態で、各テーブルを選択して確認をクリックすることでエンドポイントを作成します。
OData のエンドポイントを取得
以上でAmazon Athena への接続を設定してユーザーを作成し、API Server でAmazon Athena データのAPI を追加しました。これで、OData 形式のAmazon Athena データをREST API で利用できます。API Server の「API」ページから、API のエンドポイントを表示およびコピーできます。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
さらに、OData SDK for PHP との互換性のためにAPI Server を構成します。「Settings」をクリックし、OData セクションで「デフォルトバージョン」を2.0 に設定します。
API Server に接続するユーザーの認証トークンを取得
作成するOData サービスを決定したら、「Users」をクリックして任意のユーザーをクリックし、ユーザーの認証トークンを取得します。API Server は、認証トークンベースの認証を使用して、主要な認証スキームをサポートします。SSL を使用すれば、接続の認証だけでなく、暗号化も可能です。IP アドレスを使用してアクセスを制限することも可能です。デフォルトでは、ローカルマシンからの接続のみが許可されます。
わかりやすくするために、URL に認証トークンを設定してAPI Server への認証を行います。これはデフォルトでは有効になっていないため、API Server の構成ファイルであるsettings.cfg に以下の行を追加する必要があります。
[Application] AllowAuthTokenInUrl = true
settings.cfg ファイルはデータディレクトリに配置されています。.NET 版では、www の下のapp_data フォルダがデータディレクトリになっています。Java 版でのデータディレクトリの位置は、OS によって変わります。
- Windows:C:\ProgramData\CData\AmazonAthena\
- Unix or Mac OS X:~/cdata/AmazonAthena/
Amazon Athena エンティティをPHP オブジェクトとして使用する
以下のステップに従ってOData PHP SDK を使用し、API Server によって公開されるWeb サービスに接続するプロキシクラスを作成します。
-
以下のようなコマンドにURL を渡します。
php C:\PHPLib\ODataphp\PHPDataSvcUtil.php /uri=https://your-server:8032/api.rsc/@your-authtoken/ /out=C:\PHPLib\ODataphp\AmazonAthenaEntities.php
上記のコマンドは、OData エンドポイントからのレスポンスで返されたメタデータからクラスを定義し、指定したフォルダにクラス定義を出力します。
API Server とOData SDK for PHP は、フォーム認証とWindows 認証をサポートします。API Server は、認証トークンを使用してOData エンドポイントへのアクセスを許可されたユーザーを認証します。HTTP Basic 認証で認証トークを指定するか、OData URL に追加することができます。
許可されたユーザーは、API Server の「Users」セクションで設定できます。
-
PHP のオブジェクト指向インターフェースを使用して、Amazon Athena のデータへのアクセスを開始できます。以下のコードは、Customers テーブルのレコードを作成し、リアルタイムデータを取得して、新しく作成されたレコードを表示します。
require_once 'AmazonAthenaEntities.php'; try{ $svc = new CData(); $customers = new Customers(); $customers->CustomerId = '12345'; $svc->AddToCustomers($customers); $svc->SetSaveChangesOptions(SaveChangesOptions::None); $svc->SaveChanges(); $response = $svc->customers()->Execute(); foreach($response->Result as $customers) echo $customers->Name.""; } catch (Exception $e) { //catch errors from the API Server echo $e->getError(), "\n"; }