τ²-bench benchmark
315 AI models ranked on τ²-bench. Each row shows the model’s score next to its cheapest API price per 1M tokens where it has one, so you can weigh quality against cost.
Top model today
GLM 5.2 (Zhipu) leads at 99%, from $0.05 per 1M input OpenRouter routed quote.
Data via GitHub: sierra-research/tau2-bench →Models ranked
315
on this benchmark
Top score
99%
current leader
Type
Single eval
benchmark
Updated
Oct 14, 2026
benchmark scores
Cost vs τ²-bench
202 priced modelsEach labelled name links to that model’s page. Curated to the cost-efficiency frontier, top scorers and cheapest so labels stay readable; the full field is in the leaderboard table below (and via “select all”). Reasoning models (extended “thinking” before answering) carry a ring around the dot.
Models ranked on τ²-bench
highest score first · 315 models| # | ||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GLM 5.2 |  Zhipu | 99% | $0.05 Routed quote | $1.98 via Scx AI | |||||||||||||||||||||||||
| 2 | JT-35B-Flash | China-mobile | 99% | n/a | n/a | |||||||||||||||||||||||||
| 3 | GLM 4.7 Flash | Zhipu | 99% | $0.06 via DeepInfra | $0.40 via Amazon Bedrock | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 4 | Claude Fable 5 |  Anthropic | 99% | $10.00 via Anthropic | $50.00 via Anthropic | |||||||||||||||||||||||||
| 5 | Step 3.7 Flash | Other | 99% | $0.20 via DeepInfra | $1.15 via DeepInfra | |||||||||||||||||||||||||
| 6 | GLM 5V Turbo | Zhipu | 99% | $0.704 via Aihubmix | $3.10 via Aihubmix | |||||||||||||||||||||||||
| 7 | GLM 5 Turbo | Zhipu | 99% | $1.20 via Novita | $4.00 via Novita | |||||||||||||||||||||||||
| 8 | GLM 5 | Zhipu | 98% | $0.60 via DeepInfra | $1.92 Routed quote | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 9 | GLM 5.1 | Zhipu | 98% | $1.05 via DeepInfra | $3.50 via DeepInfra | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 10 | Grok 4.3 |  xAI | 98% | $1.25 via xAI | $2.50 via xAI | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 11 | Qwen3.6 Plus |  Alibaba | 98% | $0.325 Routed quote | $1.95 Routed quote | |||||||||||||||||||||||||
| 12 | Grok 4 20 0309 | xAI | 96% | $1.25 via xAI | $2.50 via xAI | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 13 | DeepSeek V4 Pro 0423 |  DeepSeek | 96% | $0.435 via Tencent | $0.87 via Tencent | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 14 | Kimi K2.6 |  Moonshot | 96% | $0.65 via Wandb | $3.40 via Novita | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 15 | Kimi K2.5 | Moonshot | 96% | $0.45 via DeepInfra | $2.25 via DeepInfra | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 16 | GLM 4.7 | Zhipu | 96% | $0.40 via DeepInfra | $1.75 via DeepInfra | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 17 | Qwen3.6 Max Preview | Alibaba | 96% | n/a | n/a | |||||||||||||||||||||||||
| 18 | DeepSeek V4 Flash 0423 | DeepSeek | 96%high | $0.09 via DeepInfra | $0.18 via DeepInfra | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 19 | Qwen3.5 397B A17B | Alibaba | 96% | $0.164 via Aihubmix | $0.986 via Aihubmix | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 20 | Gemini 3.5 Flash |  Google | 96%medium | $1.50 via Google | $9.00 via Google | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 21 | Gemini 3.1 Pro Preview | Google | 96% | $2.00 via Google | $12.00 via Google | |||||||||||||||||||||||||
| 22 | MiniMax M2.5 |  MiniMax | 95% | $0.27 Routed quote | $1.08 Routed quote | |||||||||||||||||||||||||
| 23 | Qwen3.6 35B A3B | Alibaba | 95% | $0.05 via Sail | $0.40 via Sail | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 24 | Mimo V2 Flash |  Xiaomi | 95%reasoning: true | $0.10 Routed quote | $0.30 Routed quote | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 25 | Mimo V2 Pro | Xiaomi | 95% | $1.10 via Aihubmix | $3.30 via Aihubmix | |||||||||||||||||||||||||
| 26 | Qwen3.7 Max | Alibaba | 95% | $1.25 via Novita | $3.75 via Novita | |||||||||||||||||||||||||
| 27 | Claude Opus 4.8 | Anthropic | 94% | $5.00 via Anthropic | $25.00 via Anthropic | |||||||||||||||||||||||||
| 28 | Step 3.5 Flash (0202) | Stepfun | 94% | n/a | n/a | |||||||||||||||||||||||||
| 29 | Qwen3.6 27B | Alibaba | 94% | $0.15 via Libertai | $0.50 via Libertai | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 30 | MiMo-V2.5-Pro | Xiaomi | 94% | $0.435 Routed quote | $0.87 Routed quote | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 31 | Mistral Medium 3.5 |  Mistral | 94% | $1.50 via Mistral | $7.50 via Mistral | |||||||||||||||||||||||||
| 32 | GPT-5.5 |  OpenAI | 94% | $5.00 via OpenAI | $30.00 via OpenAI | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 33 | Qwen3.5-27B | Alibaba | 94% | $0.26 via DeepInfra | $2.40 via Novita | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 34 | Qwen3.5-122B-A10B | Alibaba | 94% | $0.113 via Aihubmix | $0.901 via Aihubmix | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 35 | Grok 4.1 Fast Reasoning | xAI | 93% | $0.20 via Azure | $0.50 via Azure | |||||||||||||||||||||||||
| 36 | MiMo-V2-Flash (Feb 2026) (0206) | Xiaomi | 93% | n/a | n/a | |||||||||||||||||||||||||
| 37 | Tri-21B-think Preview | Trillion-labs | 93% | n/a | n/a | |||||||||||||||||||||||||
| 38 | Kimi K2 Thinking | Moonshot | 93% | $0.60 via Moonshot | $1.20 via Gmi | |||||||||||||||||||||||||
| 39 | Qwen3.7 Plus | Alibaba | 93% | $0.282 via Aihubmix | $1.13 via Aihubmix | |||||||||||||||||||||||||
| 40 | Grok 4.20 | xAI | 93% | $1.25 via xAI | $2.50 via xAI | |||||||||||||||||||||||||
| 41 | JT-MINI | China-mobile | 93% | n/a | n/a | |||||||||||||||||||||||||
| 42 | Hy3 preview | Tencent | 93% | $0.18 Routed quote | $0.60 Routed quote | |||||||||||||||||||||||||
| 43 | Nova 2.0 Pro Preview |  Amazon | 93%medium | n/a | n/a | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 44 | inclusionAI: Ring-2.6-1T | Other | 92% | n/a | n/a | |||||||||||||||||||||||||
| 45 | Claude Opus 4.6 | Anthropic | 92%reasoning: adaptive | $5.00 via Anthropic | $25.00 via Anthropic | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 46 | GPT-5.2-Codex | OpenAI | 92% | $1.75 via Databricks | $14.00 via Databricks | |||||||||||||||||||||||||
| 47 | Qwen3.5 4B | Alibaba | 92% | n/a | n/a | |||||||||||||||||||||||||
| 48 | Muse Spark |  Meta | 92% | n/a | n/a | |||||||||||||||||||||||||
| 49 | Mimo V2 Omni | Xiaomi | 91% | $0.44 via Aihubmix | $2.20 via Aihubmix | |||||||||||||||||||||||||
| 50 | DeepSeek V3.2 | DeepSeek | 91%reasoning: true | $0.259 Routed quote | $0.38 via DeepInfra | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
Frequently asked questions
What is the τ²-bench benchmark?
Sierra Research's τ²-bench evaluates LLM agents in realistic multi-turn customer-service scenarios (airline, retail, telecom) where both the agent and a simulated user take actions using tools under domain policies. Scored on task success (final vs goal state) and on pass^k reliability across repeated attempts.
Which AI model scores highest on τ²-bench?
GLM 5.2 (Zhipu) leads with 99%, from $0.05 per 1M input tokens as an OpenRouter routed quote.
How many models are ranked on τ²-bench?
315 models carry a τ²-bench score. Scores come from Artificial Analysis; where a model has a listed API price it is drawn from LiteLLM and OpenRouter, and models with no current price are listed without one.
Other benchmarks
compare the same models on a different evalEvery weekday
AI moves fast. Here's your debrief.
News, analysis, tools, and more.
For people who build with AI