CData Labs
AI Gateway の設計は、回答精度・トークン効率・モデルの挙動をどう左右するのか。 CData Labs のリサーチ、ベンチマーク、分析から得られた検証結果を公開しています。
エンタープライズデータで測る、モデルの実力
CRM・データウェアハウス・ITSM のリアルタイムデータに対して、3 つのタスクを実行しました。R1 はリスクのある顧客を、 R2 はそのうち利用状況が落ち込んでいる顧客を抽出する読み取りタスクです。A1 は書き込みタスクで、 条件に合致するアカウントにはすべてレビューレコードを書き込み、合致しないアカウントには 1 件も書き込まないことを求めます。 結果を R2 の正解あたりコストで並べ替えると、最も安価なモデルと最も高価なモデルが同じ答えを返していることが見えてきます。
| モデル | ティア | R1 精度 | R1 正解あたり $ | R2 精度 | R2 正解あたり $ | A1 精度 | A1 実行あたり $ |
|---|---|---|---|---|---|---|---|
| GPT-6 Luna | Economy | 87% | $0.0009 | 99% | $0.0010 | 100% | $0.0011 |
| Mistral Small 4 | Economy | 91% | $0.0014 | 99% | $0.0015 | 100% | $0.0022 |
| Nemotron 3.5 Super | Mid | 91% | $0.0043 | 99% | $0.0029 | 100% | $0.0035 |
| DeepSeek V4 Flash | Economy | 91% | $0.0021 | 100% | $0.0032 | 100% | $0.0024 |
| GLM-5.3 Flash | Economy | 95% | $0.0085 | 75% | $0.0043 | 100% | $0.0072 |
| Haiku 5.5 | Economy | 87% | $0.0076 | 100% | $0.0046 | 100% | $0.0037 |
| Gemini 3.5 Flash-Lite | Economy | 91% | $0.0040 | 99% | $0.0051 | 100% | $0.0055 |
| Gemini 3.1 Flash-Lite | Economy | 91% | $0.0030 | 100% | $0.0052 | 100% | $0.0052 |
| Qwen 3.8 Flash | Economy | 95% | $0.0115 | 75% | $0.0053 | 100% | $0.0103 |
| Grok 4.3 | Mid | 91% | $0.0040 | 100% | $0.0061 | 100% | $0.0067 |
| MiniMax M3 | Economy | 91% | $0.0037 | 100% | $0.0067 | 100% | $0.0056 |
| DeepSeek V4.1 Flash | Economy | 95% | $0.0187 | 100% | $0.0075 | 100% | $0.0139 |
| Reflection Beam 1.0 | Mid | 91% | $0.0615 | 100% | $0.0079 | 100% | $0.0270 |
| Gemini 3.8 Flash | Mid | 100% | $0.0128 | 100% | $0.0082 | 100% | $0.0260 |
| Mistral Large 3 | Mid | 91% | $0.0044 | 64% | $0.0097 | 100% | $0.0070 |
| Inkling | Frontier | 91% | $0.0875 | 100% | $0.0106 | 75% | $0.0414 |
| Muse Glimmer 30B | Economy | 100% | $0.0188 | 100% | $0.0109 | 100% | $0.0157 |
| Grok 4.7 | Frontier | 93% | $0.0358 | 100% | $0.0146 | 100% | $0.0218 |
| Haiku 4.5 | Economy | 91% | $0.0313 | 100% | $0.0170 | 100% | $0.0256 |
| GPT-6 Sol | Frontier | 75% | $0.0427 | 100% | $0.0186 | 100% | $0.0238 |
| GPT-6.1 Sol | Frontier | 98% | $0.0338 | 100% | $0.0193 | 100% | $0.0239 |
| Mistral Large 4 | Mid | 95% | $0.0541 | 100% | $0.0215 | 100% | $0.0248 |
| Muse Spark Open | Mid | 95% | $0.1165 | 100% | $0.0229 | 100% | $0.1039 |
| DeepSeek V4 Pro | Mid | 100% | $0.0519 | 100% | $0.0256 | 100% | $0.0214 |
| GLM-5.3 | Mid | 95% | $0.1541 | 100% | $0.0318 | 100% | $0.1242 |
| Gemini 4 Argon | Frontier | 100% | $0.0327 | 100% | $0.0339 | 100% | $0.0325 |
| Sonnet 5.5 | Frontier | 91% | $0.0373 | 100% | $0.0364 | 100% | $0.0609 |
| Qwen 3.7 Max | Mid | 98% | $0.0628 | 100% | $0.0419 | 100% | $0.0509 |
| Kimi K3 | Frontier | 95% | $0.1926 | 100% | $0.0762 | 100% | $0.1477 |
| GPT-6 Astra | Frontier | 99% | $0.1700 | 100% | $0.0921 | 100% | $0.1236 |
| Opus 5.5 | Frontier | 100% | $0.1067 | 100% | $0.1300 | 100% | $0.1365 |
| Fable 5 | Frontier | 91% | $0.2436 | 100% | $0.1571 | 100% | $0.2914 |
| Fable 5.1 | Frontier | 98% | $0.3471 | 100% | $0.1671 | 100% | $0.3309 |
| Qwen 3.5 9B | Economy | 0% | — | 0% | — | 100% | $0.0043 |
精度は集合 F1 値で算出し、返されたレコードが検証済みの正解にどれだけ一致したかを示します （100% が完全一致）。コストは、読み取りタスクでは正解 1 件あたり、書き込みタスクでは 1 回の実行あたりです。書き込みは 正しく反映されるか、されないかの二択になるためです。ティアは価格帯ではなく、各開発元が自社のラインアップの中で そのモデルをどう位置付けているかを示しています。
同じ精度で、これだけ違うモデルコスト
CRM・データウェアハウス・ITSM のリアルタイムデータに対して、22 モデル中 17 モデルがまったく同じ正解を返しました。違ったのは価格だけです。 CData Software による社内テストに基づく結果です(2026年第3四半期)。第三者機関による独立した検証は行われていません。実際のコスト差はモデルによって異なり、テストは本番環境のアカウント構成を模した、既知のデータセットを含むサンドボックスアカウントを使用して実施されました。結果は実運用環境でのパフォーマンスを代表するものではなく、結果は変動する可能性があります。各組織は、購入または導入の意思決定を行う前に、独自に検証を実施する必要があります。
1 問あたりのトークン消費量
複数のデータソースにまたがる同じ質問を、テーブルへ直接アクセスする方式と CData Connect AI 経由とで比較しました。183,541 トークン・22 回のツール呼び出しが、4,427 トークン・1 回まで減っています。 CData Software による社内テストに基づく結果です(2026年第2四半期)。第三者機関による独立した検証は行われていません。実際のトークン差は構成によって異なり、テストは本番環境のアカウント構成を模した、既知のデータセットを含むサンドボックスアカウントを使用して実施されました。結果は実運用環境でのパフォーマンスを代表するものではなく、結果は変動する可能性があります。各組織は、購入または導入の意思決定を行う前に、独自に検証を実施する必要があります。
サーバー設計別の回答精度
エンタープライズデータを AI エージェントに公開する 5 つの方式を、CRM・プロジェクト管理・データウェアハウス・ERP をまたぐ 378 のプロンプトで検証しました。1 ステップごとのわずかな差も、工程を重ねるごとに積み上がります。1 ステップの精度が 75% なら、5 ステップのワークフローが最後まで正しく完了する割合は 4 分の 1 にも届きません。 CData Software による社内テストに基づく結果です(2025年第4四半期)。第三者機関による独立した検証は行われていません。実際の精度差はプラットフォームおよび MCP アプローチによって異なり、テストは本番環境のアカウント構成を模した、既知のデータセットを含むサンドボックスアカウントを使用して実施されました。結果は実運用環境でのパフォーマンスを代表するものではなく、結果は変動する可能性があります。各組織は、購入または導入の意思決定を行う前に、独自に検証を実施する必要があります。プラットフォーム間の平均精度は 75% 前後の幅があり、結果は MCP アプローチによって異なります。
オープンな検証手法
テストハーネス、ベンチマークランナー、そして生の結果まで、CData はすべて公開しています。フォークして数値を検証し、ぜひご自身の環境でご確認ください。