適切なデータレイヤーがあれば、AIコストは最大178分の1に削減できる
AI Gateway は、プロンプトを安価なモデルに振り分けることができます。とはいえ、安価なモデルの精度と安全性は信頼できるでしょうか。適切なデータレイヤーがあれば、安価なモデルでも同じ正答を返しつつ、最も高価なモデルに対して178倍のコスト削減を実現できます。
調査結果
データレイヤーが精度と安全性を担保すると、モデル選定はほぼコストの問題になる
エコノミーからフロンティアまで22のAIモデルを対象に、実運用のCRM・データウェアハウス・ITSMデータで1,034回のベンチマークを実施しました。
- 読み取りタスクでは：Connect AI を使うと、常に正答したモデルのコストは178倍から278倍まで変動しました。データレイヤーがない場合、最も優秀なモデルでも正答率はわずか40%でした。
- 書き込みタスクでは：Connect AI を使うと、22モデル中20モデルが常に正確に書き込みを行いました。モデル単独に任せた場合、最悪のケースでは数千件の誤った値が書き込まれました。
同じ答え、価格差は178倍
CData Connect AI がビジネスロジックを担うと、すべてのティアのモデルが一様に高い精度を示しました。変わったのはコストだけです。
複数のデータソースを組み合わせる必要があったプロンプトに対する、最適化済み構成での結果です。上記のすべてのモデルが、同一の44件のアカウントを返しました。正答あたりのコストは、最安値から最高値まで178倍の開きがあります。ランキングタスクでは、9モデルが同一スコアを記録しながら、なお279倍の開きがありました。
Connect AI なしでは、モデルはこう失敗する
Connect AI があれば、コンテキストがモデルに対して正確かつ安全に行動するためのビジネスロジックとガードレールを提供します。モデルが生のデータに直接アクセスすると、AI の挙動が不安定になり、明確な失敗につながります。
CData Connect AI がない場合、モデルは完全に整形された、しかし単純に誤ったアカウントのリストを返しました。正答と見分けがつかない誤答は、明らかなエラーよりも悪質です。後工程で誰も気づけないからです。
当て推量に委ねられるビジネスロジック
生データへのアクセスでは、ルールではなくスキーマがそのまま露出します。どのテレメトリがどの健全性シグナルに対応するのか、どの閾値がリスクありと判定されるのか、3つの独立したシステムがどう関連しているのかを、モデル自身が推測しなければなりません。Connect AI に一度定義しておけば、それを呼び出すすべてのモデルが同じ正しい定義を引き継ぎます。
無制限な書き込み
汎用的な書き込み操作を与えると、モデルは許可された範囲をはるかに超えてレコードを挿入しました。境界線はモデルが再解釈できない場所に置く必要があります。そうでなければ、モデルは実行のたびに異なる範囲を自ら決めてしまいます。
実行ごとの不安定さ
同じモデルが同じタスクを実行しても、ある回では21件の正しいレコードを書き込み、次の回では数百件の誤ったレコードを書き込むことがあります。制限がツール側で強制されない限り、動作の再現性は保証されません。
テスト手法
1,034 回のテスト実行 オープンからフロンティアまで22モデル、8つのモデル開発元、3つのタスク、それぞれ2〜3のツール条件を対象。
実運用の連携データ CRM の顧客アカウント、クラウドウェアハウスの利用テレメトリ、ITSM プラットフォームのサポートインシデントを、CData Connect AI 経由で接続。事前に用意されたデータは一切ありません。
全モデル共通のテストハーネス すべてのモデルに同一のカスタムクライアント側ツールループを使用し、特定ベンダーが有利にならないようにしています。トークンは各プロバイダーの課金方式に沿って、定価で計算しています。
モデルに依存しない採点方式 読み取りは、オフラインで算出したゴールデンキーに対する集合 F1 スコアで採点。書き込みは、別のエンドポイント経由で読み取った対象テーブルの実際の最終状態に基づいて採点しています。
調査レポートを入手
エグゼクティブサマリー（9 ページ）
主な調査結果、精度は同一・コストは変動という結果、そしてモデルの選定・導入にどう影響するかをまとめています。
調査レポート全文（21 ページ）
テスト手法の詳細、22モデル全体のタスク別結果、失敗パターンの分析、書き込み安全性に関する調査結果を完全収録しています。
テストハーネス（GitHub）
お客様自身のシステムとデータでベンチマークを実行できます。実際に使用したタスクプロンプト、各条件のツールスキーマ、採点コード、ゴールデンアンサー生成ツールを含みます。