Databricks(AWS)でOdoo のデータを処理・分析
Databricks は、Apache Spark を通じたデータ処理機能を提供するクラウドベースのサービスです。CData JDBC Driver と組み合わせることで、Databricks を使用してリアルタイムOdoo のデータに対してデータエンジニアリングとデータサイエンスを実行できます。この記事では、AWS でCData JDBC Driver をホストし、Databricks でリアルタイムOdoo のデータに接続して処理する方法を説明します。
最適化されたデータ処理が組み込まれたCData JDBC Driver は、リアルタイムOdoo のデータを扱う上で比類のないパフォーマンスを提供します。Odoo に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をOdoo に直接プッシュし、サポートされていない操作(主にSQL 関数やJOIN 操作)は組み込みSQL エンジンを利用してクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使ってOdoo のデータを操作・分析できます。
Odoo データ連携について
CData を使用すれば、Odoo のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Odoo API 8.0+ と Odoo.sh クラウド ERP の両方からライブデータにアクセスできます。
-
多対一、一対多、多対多のデータプロパティをインテリジェントに処理することで、ネイティブの Odoo 機能を拡張できます。CData の接続ソリューションは、Odoo 内の複雑なデータプロパティもインテリジェントに処理します。テキストや日付などの単純な値を持つカラムに加えて、各行に複数の値を含むカラムもあります。ドライバーは、値の元となるカラムのタイプに応じて、これらの種類の値を異なる方法でデコードします:
- 多対一カラムは、別のモデル内の単一の行への参照です。CData ソリューションでは、多対一カラムは整数として表され、その値は他のモデルで参照している ID です。
- 多対多カラムは、別のモデル内の多くの行への参照です。CData ソリューションでは、多対多カラムはカンマ区切りの整数リストを含むテキストとして表されます。リスト内の各値は、参照されている行の ID です。
- 一対多カラムは、別のモデル内の多くの行への参照です。多対多カラムと同様(カンマ区切りの整数リスト)ですが、参照されるモデルの各行はメインモデルの 1 つにのみ属する必要があります。
- SQL ストアドプロシージャを使用して、Odoo 内のサーバーサイド RFC を呼び出すことができます。
ユーザーは、Power BI や Qlik Sense などの分析ツールと Odoo を統合し、当社のツールを活用して Odoo データをデータベースやデータウェアハウスにレプリケートしています。
はじめに
CData JDBC Driver をDatabricks にインストール
Databricks でリアルタイムOdoo のデータを操作するには、Databricks クラスターにドライバーをインストールします。
- Databricks の管理画面に移動し、対象のクラスターを選択します。
- Libraries タブで「Install New」をクリックします。
- Library Source として「Upload」を選択し、Library Type として「Jar」を選択します。
- インストール場所(通常はC:\Program Files\CData[product_name]\lib)からJDBC JAR ファイル(cdata.jdbc.odoo.jar)をアップロードします。
ノートブックでOdoo のデータにアクセス:Python
JAR ファイルをインストールしたら、Databricks でリアルタイムOdoo のデータを操作する準備が整いました。ワークスペースに新しいノートブックを作成します。ノートブックに名前を付け、言語としてPython を選択し(Scala も利用可能)、JDBC ドライバーをインストールしたクラスターを選択します。ノートブックが起動したら、接続を設定し、Odoo をクエリして、基本的なレポートを作成できます。
Odoo への接続を設定
JDBC Driver クラスを参照し、JDBC URL で使用する接続文字列を構築してOdoo に接続します。また、JDBC URL でRTK プロパティを設定する必要があります(Beta ドライバーを使用している場合を除く)。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。
ステップ1:接続情報
driver = "cdata.jdbc.odoo.OdooDriver" url = "jdbc:odoo:RTK=5246...;User=MyUser;APIToken=MyToken;URL=http://MyOdooSite/;Database=MyDatabase"
組み込みの接続文字列デザイナー
JDBC URL の作成をサポートするために、Odoo JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。
java -jar cdata.jdbc.odoo.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
接続するには、URL にOdoo インスタンスURL、User およびAPIToken にユーザー資格情報、Database にOdoo データベース名を設定します。 API トークン(Odoo 14 以降でのみ利用可能)を使用していない場合、代わりにAPIToken フィールドにパスワードを直接入力することができます。
接続方法の詳細は、ヘルプドキュメントの「はじめに」セクションを参照してください。
Odoo のデータをロード
接続を設定したら、CData JDBC Driver と接続情報を使用して、Odoo のデータをDataFrame としてロードできます。
ステップ2:データの読み取り
remote_table = spark.read.format ( "jdbc" ) \ .option ( "driver" , driver) \ .option ( "url" , url) \ .option ( "dbtable" , "res_users") \ .load ()
Odoo のデータを表示
ロードしたOdoo のデータをdisplay 関数を呼び出して確認します。
ステップ3:結果の確認
display (remote_table.select ("name"))
Databricks でOdoo のデータを分析
Databricks SparkSQL でデータを処理するには、ロードしたデータをTemp View として登録します。
ステップ4:ビューまたはテーブルを作成
remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )
Temp View を作成したら、SparkSQL を使用してOdoo のデータをレポート、ビジュアライゼーション、分析用に取得できます。
% sql SELECT name, email FROM SAMPLE_VIEW ORDER BY email DESC LIMIT 5
Odoo からのデータは、対象のノートブックでのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存します。
remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )
CData JDBC Driver for Odoo の30日間無償トライアルをダウンロードして、Databricks でリアルタイムOdoo のデータの操作をはじめましょう。ご不明な点があれば、サポートチームにお問い合わせください。