こんにちは。CData Software Japan の色川です。
CData Virtuality は、CData がお届けするエンタープライズグレードのデータ仮想化プラットフォームです。データ仮想化によるリアルタイムデータアクセスとデータレプリケーションのバイモーダルなデータ統合を提供します。
企業における基幹系システムと情報系システムでの仮想的なデータ統合はVirtuality の基本的な利用シーンです。昨冬に「kintone コネクタをリリース」して以来、そのような利用シーンの中でも「さまざまな基幹系システムとkintone のデータを仮想統合して活用したい」というご相談が特に増えています。
kintone ではアプリ名やフィールド名もわかりやすい日本語(マルチバイト文字)で構成される事が多いかと思いますが、もちろんVirtuality ではkintoneで構成されているアプリ名やフィールド名をそのままデータ仮想化で利用いただくことができます。データソースと一口にいっても、それぞれの業務範囲や構成技術・歴史などは多様です。日本ではさまざまな文字エンコーディングが利用されてきている歴史もあり、多くのデータソースを仮想統合する際には、オブジェクトやフィールド名でのマルチバイトの扱いや、データの文字エンコーディングの扱いについて気にされる方も多いかも知れません。
そこで、この記事ではCData Virtuality で「kintone とIBM DB2 for iSeries(AS/400)(以下、DB2 for i)のデータを仮想統合」する中で、kintone のアプリ名やフィールド名、DB2 for i のEBCDIC でエンコードされたデータなど、マルチバイトが課題になりがちなデータ構成において「実際にどのような使用感で利用いただけるか」について、ご紹介したいと思います。
この記事のシナリオ
この記事では「kintone とDB2 for i のデータを仮想統合」して、Virtuality のData Lineage 機能やData Shop 機能で活用(参照)したり、Replication 機能により仮想統合したデータセットを任意のデータストアに物理的に統合(レプリケーション)するシナリオを試してみます。このシナリオの中で、Virtuality のUI が、実際にどのような使用感で利用いただけるかを見ていきたいと思います。
なお、kintone はサンプルアプリとして提供されている「案件管理」アプリを利用しました。「案件管理」の各レコードには活動履歴サブテーブルが含まれます。また、DB2 for i には、kintone の「案件管理」アプリのデータと紐づけられるような「COMPANY テーブル(物理ファイル)」を用意して利用しました。
kintone
上述の通り、kintone 側のデータ構成はサンプルアプリとして提供されている「案件管理」アプリを利用しました。フィールドに「活動履歴テーブル(サブテーブル)」を含むアプリです。
DB2 for i(IBM DB2 for iSeries)
DB2 for i には、kintone の「案件管理」に含まれる「会社名」に紐づく「会社情報のマスタ」をイメージしたテーブル(物理ファイル)を「COMPANY」として用意しました。記事のために簡易的に用意したテーブル(物理ファイル)で、案件管理アプリのレコードとは「会社名」でJoin できるデータ構成にしています。
なお、COMPANY テーブル(物理ファイル)の会社名(NAME)や住所(ADDRESS)フィールドは、日本語EBCDIC(CCSID 5035)で構成してあります。
kintone とIBM DB2 for iSeries(AS/400)のデータを仮想統合
それでは「フィールド名がマルチバイトで構成されているkintone アプリ」と「文字コードがEBCDIC で構成されるDB2 for i テーブル」を仮想統合していく中で、Virtuality の各機能の使用感などを見ていきましょう。
データソース(Sources)として登録
Virtuality のデータソース(Sources)としてkintone を登録すると、それぞれのアプリが自動的にテーブルとして検出されます。アプリや、アプリに含まれるサブテーブルなどは、そのままの名称で選択・利用することができます。データソース(Sources)としてkintone を登録する流れについては、こちらの記事を参照してください。
データソース(Sources)としてDB2 for i を登録すると、指定したライブラリに含まれるオブジェクトが自動的に検出されます。データソース(Sources)としてDB2 for i を登録する流れについては、こちらの記事を参照してください。
View の作成
Virtuality では、さまざまなデータソースを統合した仮想的なデータセットを「View」として作成することができます。View はSQL を利用して作成する以外にも、View Builder で作成することができます。View の作成について詳しくは、こちらの記事を参照してください。
Virtuality のView Builder ではテーブル選択においても、kintone のアプリ名(テーブル名)で表示されますので、迷うことなく選択・利用することができます。
もちろん、View Builder でView を作成していくステップでも、kintone のアプリ名やフィールド名のまま、選択・利用することができます。
このような流れで作成したView(仮想統合されたデータセット)をクエリしてみると、kintone とDB2 for i のデータがフィールド名やデータのエンコードも含めて、期待通りに仮想統合された形で取得できることがわかります。このView では以下のように活動履歴サブテーブルのレコード単位に結合されたデータセットが取得できます。
Data Lineage
Virtuality のData Lineage は「仮想的に統合されたデータの来歴(データの由来や関係性)を確認できる機能」です。もちろんData Lineage 機能のUI でも、kintone のアプリ名(テーブル名)やフィールド名で表示されますので、迷うことなくデータの来歴や関係性を確認・理解することができます。Data Lineage について詳しくは、こちらの記事を参照してください。
Data Shop
Virtuality のData Shop はデータカタログです。Data Shop を利用すると、データドメインの所有者は任意のデータアイテム(Table やView)を公開することができます。データの利用者は、Data Shop で公開されているデータセットをダウンロードして活用することができます。作成したView をData Shop としてPublish(公開)することで、組織内のデータを利用したい人が、必要なデータを見つけて理解しやすくなり、データの検索と使用に費やす時間と労力を削減することができます。Data Shop について詳しくは、こちらの記事を参照してください。
Data Shop にPublish されたデータは、CSV やExcel 形式でのダウンロードをはじめ、各社のBI 製品や統計分析などのツールから利用することができます。CSV でダウンロードしてみると、フィールド名やデータも期待通りに扱われていることが分かります。
Data Shop では、CSV 以外にも、Excel ファイルや、BI(Power BI、Tableau)の定義ファイル、プログラミング言語(R、Python)のサンプルコード、REST API での接続情報などを取得することが出来ます。
Replication(レプリケーション)
Virtuality は、Sources に登録されたそれぞれのデータソースへリアルタイムアクセスする形で、鮮度の高いデータの仮想統合を実現します。ですが、日々膨大なデータが増え続けていく今の時代において、仮想統合でのリアルタイムアクセス(のみ)では実用的に課題が生じるシナリオも想定されます。また仮想的に統合したデータセットを、組織の境界や利用の目的などから、外部のDB やDWH へ物理的に統合したいケースもあると思います。Replication(レプリケーション)は、このような場面において、仮想化のみでなく現実的なデータ統合を提供するVirtuality の特長的な機能です。Virtuality のレプリケーションについて詳しくは、こちらの記事を参照してください。
この記事では、作成したView(vOpportunities として仮想統合されたデータセット)のデータを、指定したDB/DWH (この記事ではPostgreSQL)に、Virtuality のレプリケーション機能で物理的に統合(コピー)します。
レプリケーション先のDB/DWH でも、フィールド構造やデータも、仮想統合されたView そのままに活用いただけるデータ構成でレプリケーションされているのが分かります。
まとめ
そこで、この記事ではCData Virtuality で「kintone とIBM DB2 for iSeries(AS/400)(以下、DB2 for i)のデータを仮想統合」する中で、それぞれのフィールド名やデータが、実際にどのような使用感で利用いただけるか、ご紹介しました。
それぞれ、オブジェクト名やフィールド名、データのエンコーディングなどに特徴のあるデータソースですが、特殊な配慮や難しい設定を必要とせず、シンプルな流れで、統合・活用できることが確認いただけたのではないかと思います。
近年「信頼性・堅牢性が求められる基幹システムと、柔軟性と即時性に優れたkintone を組み合わせて活用されているケース」がとても増えている印象です。先日リリースされた、こちらの「基幹系システムのFit to Standard とkintone によるSide-by-Side 開発事例・連携ポイント」のホワイトペーパーも大変好評をいただいています。
基幹システムとkintone とのデータ統合・データ活用を考えるとき、CData Virtuality を利用したデータ仮想化は、基幹システムとkintone のデータ連携における新たなアプローチの1つとして検討いただけるかと思います。
CData Virtuality についてフルマネージドタイプ(SaaS)でのトライアルを希望される方は「無償トライアルへ」からすぐにはじめていただけます。オンプレミス環境などインストールタイプのトライアルを希望される方は「お問い合わせ」よりご連絡ください。
https://jp.cdata.com/virtuality/
製品を試していただく中で何かご不明な点があれば、テクニカルサポートへお気軽にお問い合わせください。
https://jp.cdata.com/support/
この記事では CData Virtuality 4.11 を利用しています。