τ²-bench benchmark
314 AI models ranked on τ²-bench. Each row shows the model’s score next to its cheapest API price per 1M tokens where it has one, so you can weigh quality against cost.
Top model today
GLM 5.2 (Zhipu) leads at 99%, from $0.61 per 1M input.
Data via GitHub: sierra-research/tau2-bench →Models ranked
314
on this benchmark
Top score
99%
current leader
Type
Single eval
benchmark
Updated
30 Aug 2026
last source fetch
Cost vs τ²-bench
193 priced modelsEach labelled name links to that model’s page. Curated to the cost-efficiency frontier, top scorers and cheapest so labels stay readable; the full field is in the leaderboard table below (and via “select all”). Reasoning models (extended “thinking” before answering) carry a ring around the dot.
Models ranked on τ²-bench
highest score first · 314 models| # | ||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GLM 5.2 |  Zhipu | 99% | $0.61 | $1.98 | |||||||||||||||||||||||||
| 2 | JT-35B-Flash | China-mobile | 99% | n/a | n/a | |||||||||||||||||||||||||
| 3 | GLM 4.7 Flash | Zhipu | 99% | $0.00 | $0.00 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 4 | Claude Fable 5 |  Anthropic | 99% | $10.00 | $50.00 | |||||||||||||||||||||||||
| 5 | Step 3.7 Flash | Other | 99% | $0.20 | $1.15 | |||||||||||||||||||||||||
| 6 | GLM 5 Turbo | Zhipu | 99% | $1.20 | $4.00 | |||||||||||||||||||||||||
| 7 | GLM 5V Turbo | Zhipu | 99% | $1.20 | $4.00 | |||||||||||||||||||||||||
| 8 | GLM 5 | Zhipu | 98% | $0.60 | $1.92 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 9 | GLM 5.1 | Zhipu | 98% | $0.97 | $3.04 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 10 | Grok 4.3 |  xAI | 98% | $1.25 | $2.50 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 11 | Qwen3.6 Plus |  Alibaba | 98% | $0.33 | $1.95 | |||||||||||||||||||||||||
| 12 | Grok 4.20 0309 | Spacexai | 96% | n/a | n/a | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 13 | DeepSeek V4 Pro 0423 |  DeepSeek | 96% | $0.43 | $0.87 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 14 | DeepSeek V4 Pro (max) | DeepSeek | 96% | n/a | n/a | |||||||||||||||||||||||||
| 15 | Kimi K2.5 |  Moonshot | 96% | $0.45 | $2.25 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 16 | Kimi K2.6 | Moonshot | 96% | $0.65 | $3.40 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 17 | GLM 4.7 | Zhipu | 96% | $0.40 | $1.75 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 18 | Qwen3.6 Max Preview | Alibaba | 96% | n/a | n/a | |||||||||||||||||||||||||
| 19 | DeepSeek V4 Flash 0423 | DeepSeek | 96%high | $0.08 | $0.17 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 20 | Qwen3.5 397B A17B | Alibaba | 96% | $0.39 | $2.34 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 21 | Gemini 3.5 Flash |  Google | 96%medium | $1.50 | $9.00 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 22 | Gemini 3.1 Pro Preview | Google | 96% | $2.00 | $12.00 | |||||||||||||||||||||||||
| 23 | Qwen3.6 35B A3B | Alibaba | 95% | $0.10 | $0.45 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 24 | MiniMax M2.5 |  MiniMax | 95% | $0.27 | $1.08 | |||||||||||||||||||||||||
| 25 | Mimo V2 Flash |  Xiaomi | 95%reasoning: true | $0.10 | $0.30 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 26 | DeepSeek V4 Flash (max) | DeepSeek | 95% | n/a | n/a | |||||||||||||||||||||||||
| 27 | MiMo-V2-Pro | Xiaomi | 95% | n/a | n/a | |||||||||||||||||||||||||
| 28 | Qwen3.7 Max | Alibaba | 95% | $1.25 | $3.75 | |||||||||||||||||||||||||
| 29 | Claude Opus 4.8 | Anthropic | 94% | $5.00 | $25.00 | |||||||||||||||||||||||||
| 30 | Step 3.5 Flash | Stepfun | 94% | n/a | n/a | |||||||||||||||||||||||||
| 31 | Qwen3.6 27B | Alibaba | 94% | $0.15 | $0.50 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 32 | MiMo-V2.5-Pro | Xiaomi | 94% | $0.43 | $0.87 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 33 | Mistral Medium 3.5 |  Mistral | 94% | $1.50 | $7.50 | |||||||||||||||||||||||||
| 34 | Qwen3.5-27B | Alibaba | 94% | $0.20 | $1.56 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 35 | GPT-5.5 |  OpenAI | 94% | $5.00 | $30.00 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 36 | Qwen3.5-122B-A10B | Alibaba | 94% | $0.25 | $1.75 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 37 | Grok 4.1 Fast Reasoning | xAI | 93% | $0.20 | $0.50 | |||||||||||||||||||||||||
| 38 | MiMo-V2-Flash (Feb 2026) | Xiaomi | 93% | n/a | n/a | |||||||||||||||||||||||||
| 39 | Tri-21B-think Preview | Trillion-labs | 93% | n/a | n/a | |||||||||||||||||||||||||
| 40 | Kimi K2 Thinking | Moonshot | 93% | $0.60 | $1.20 | |||||||||||||||||||||||||
| 41 | Qwen3.7 Plus | Alibaba | 93% | $0.32 | $1.28 | |||||||||||||||||||||||||
| 42 | Grok 4.20 | xAI | 93% | $1.25 | $2.50 | |||||||||||||||||||||||||
| 43 | JT-MINI | China-mobile | 93% | n/a | n/a | |||||||||||||||||||||||||
| 44 | Hy3 preview | Other | 93% | $0.18 | $0.60 | |||||||||||||||||||||||||
| 45 | Nova 2.0 Pro Preview |  Amazon | 93%medium | n/a | n/a | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 46 | Hy3 | Other | 93% | $0.13 | $0.53 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 47 | Ring-2.6-1T | Other | 92% | $0.07 | $0.63 | |||||||||||||||||||||||||
| 48 | Claude Opus 4.6 | Anthropic | 92%reasoning: adaptive | $5.00 | $25.00 | |||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
| 49 | GPT-5.2-Codex | OpenAI | 92% | $1.75 | $14.00 | |||||||||||||||||||||||||
| 50 | Qwen3.5 4B | Alibaba | 92% | n/a | n/a | |||||||||||||||||||||||||
Frequently asked questions
What is the τ²-bench benchmark?
Sierra Research's τ²-bench evaluates LLM agents in realistic multi-turn customer-service scenarios (airline, retail, telecom) where both the agent and a simulated user take actions using tools under domain policies. Scored on task success (final vs goal state) and on pass^k reliability across repeated attempts.
Which AI model scores highest on τ²-bench?
GLM 5.2 (Zhipu) leads with 99%, from $0.61 per 1M input tokens.
How many models are ranked on τ²-bench?
314 models carry a τ²-bench score. Scores come from Artificial Analysis; where a model has a live API price it is verified against LiteLLM and OpenRouter, and models with no current price are listed without one.
Other benchmarks
compare the same models on a different evalEvery weekday
AI moves fast. Here's your debrief.
News, analysis, tools, and more.
For people who build with AI