MMLU-Pro benchmark
266 AI models ranked on MMLU-Pro. Each row shows the model’s score next to its cheapest API price per 1M tokens where it has one, so you can weigh quality against cost.
Top model today
Gemini 3 Pro (Google) leads at 90%, from $2.00 per 1M input.
Data via arXiv:2406.01574 →Models ranked
266
on this benchmark
Top score
90%
current leader
Type
Single eval
benchmark
Updated
15 July 2026
last source fetch
Cost vs MMLU-Pro
160 priced modelsEach labelled name links to that model’s page. Curated to the cost-efficiency frontier, top scorers and cheapest so labels stay readable; the full field is in the leaderboard table below (and via “select all”). Reasoning models (extended “thinking” before answering) carry a ring around the dot.
Models ranked on MMLU-Pro
highest score first · 266 models| # | ||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemini 3 Pro |  Google | 90% | $2.00 | $12.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 2 | Claude Opus 4.5 |  Anthropic | 89%reasoning: true | $5.00 | $25.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 3 | Gemini 3 Flash | Google | 89%reasoning: true | n/a | n/a | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 4 | Claude Opus 4.1 | Anthropic | 88%reasoning: true | $15.00 | $75.00 | |||||||||||||||||||||
| 5 | MiniMax M2.1 |  MiniMax | 87% | $0.27 | $1.20 | |||||||||||||||||||||
| 6 | Claude 4.5 Sonnet | Anthropic | 87%reasoning: true | $3.00 | $15.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 7 | GPT-5.2 |  OpenAI | 87% | $1.75 | $14.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 8 | Claude 4 Opus | Anthropic | 87%reasoning: true | $5.00 | $25.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 9 | GPT-5 | OpenAI | 87% | $1.25 | $10.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 10 | GPT-5.1 | OpenAI | 87% | $1.25 | $10.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 11 | Grok 4 |  xAI | 87% | $3.00 | $15.00 | |||||||||||||||||||||
| 12 | GPT-5 Codex | OpenAI | 86% | $1.25 | $10.00 | |||||||||||||||||||||
| 13 | DeepSeek V3 2 Speciale |  DeepSeek | 86% | $0.58 | $1.68 | |||||||||||||||||||||
| 14 | DeepSeek V3.2 | DeepSeek | 86%reasoning: true | $0.27 | $0.40 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 15 | Gemini 2.5 Pro | Google | 86% | $1.25 | $10.00 | |||||||||||||||||||||
| 16 | GPT-5.1 Codex | OpenAI | 86% | n/a | n/a | |||||||||||||||||||||
| 17 | Gemini 2.5 Pro (Mar) | Google | 86% | n/a | n/a | |||||||||||||||||||||
| 18 | GLM 4.7 |  Zhipu | 86% | $0.40 | $1.50 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 19 | Doubao Seed Code | Bytedance-seed | 85% | n/a | n/a | |||||||||||||||||||||
| 20 | Grok 4.1 Fast Reasoning | xAI | 85% | $0.20 | $0.50 | |||||||||||||||||||||
| 21 | o3 | OpenAI | 85% | $2.00 | $8.00 | |||||||||||||||||||||
| 22 | DeepSeek V3.1 Terminus | DeepSeek | 85%reasoning: true | $0.27 | $1.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 23 | DeepSeek V3 1 | DeepSeek | 85%reasoning: true | $0.27 | $1.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 24 | Grok 4 Fast Reasoning | xAI | 85% | $0.20 | $0.50 | |||||||||||||||||||||
| 25 | DeepSeek V3.2 Exp | DeepSeek | 85% | n/a | n/a | |||||||||||||||||||||
| 26 | Cogito 671B V2 P1 | Other | 85%reasoning: true | $1.20 | $1.20 | |||||||||||||||||||||
| 27 | R1 | DeepSeek | 85% | $0.40 | $0.40 | |||||||||||||||||||||
| 28 | Kimi K2 Thinking |  Moonshot | 85% | $0.60 | $1.20 | |||||||||||||||||||||
| 29 | DeepSeek R1 (Jan) | DeepSeek | 84% | n/a | n/a | |||||||||||||||||||||
| 30 | Mimo V2 Flash |  Xiaomi | 84%reasoning: true | $0.10 | $0.30 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 31 | Qwen3 235B A22b Instruct 2507 |  Alibaba | 84%reasoning: true | $0.09 | $0.58 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 32 | Gemini 2.5 Flash Preview 09 2025 | Google | 84%reasoning: true | $0.30 | $2.50 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 33 | Claude 4 Sonnet | Anthropic | 84%reasoning: true | $3.00 | $15.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 34 | Qwen3 Max | Alibaba | 84% | $2.11 | $8.45 | |||||||||||||||||||||
| 35 | o1 | OpenAI | 84% | $15.00 | $60.00 | |||||||||||||||||||||
| 36 | Qwen3 Max (Preview) | Alibaba | 84% | n/a | n/a | |||||||||||||||||||||
| 37 | K-EXAONE | Lg-ai-research | 84% | n/a | n/a | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 38 | GPT-5 Mini | OpenAI | 84% | $0.25 | $2.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 39 | Gemini 2.5 Pro (May) | Google | 84% | n/a | n/a | |||||||||||||||||||||
| 40 | Claude 3.7 Sonnet | Anthropic | 84%reasoning: true | $3.00 | $15.00 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 41 | DeepSeek V3.2 Exp | DeepSeek | 84% | n/a | n/a | |||||||||||||||||||||
| 42 | Qwen3 VL 235B A22b | Alibaba | 84%reasoning: true | $0.53 | $2.66 | |||||||||||||||||||||
| 43 | GLM 4.5 | Zhipu | 84% | $0.40 | $1.60 | |||||||||||||||||||||
| 44 | o4 Mini | OpenAI | 83% | $1.00 | $4.00 | |||||||||||||||||||||
| 45 | Gemini 2.5 Flash | Google | 83%reasoning: true | $0.15 | $0.60 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 46 | ERNIE 5.0 Thinking Preview |  Baidu | 83% | n/a | n/a | |||||||||||||||||||||
| 47 | Nova 2.0 Pro Preview |  Amazon | 83%medium | n/a | n/a | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 48 | GLM 4.6 | Zhipu | 83%reasoning: true | $0.40 | $1.75 | |||||||||||||||||||||
| ||||||||||||||||||||||||||
| 49 | Grok 3 Mini | xAI | 83%reasoning: true | $0.25 | $0.50 | |||||||||||||||||||||
| 50 | Llama 3.1 Nemotron Ultra 253B |  NVIDIA | 82%reasoning: true | $0.60 | $1.80 | |||||||||||||||||||||
Frequently asked questions
What is the MMLU-Pro benchmark?
A harder, cleaned-up successor to MMLU testing multi-task knowledge and reasoning across academic subjects. It expands each question from four to ten answer options and removes trivial or noisy items, making it more reasoning-intensive and prompt-stable. Scored as multiple-choice accuracy.
Which AI model scores highest on MMLU-Pro?
Gemini 3 Pro (Google) leads with 90%, from $2.00 per 1M input tokens.
How many models are ranked on MMLU-Pro?
266 models carry a MMLU-Pro score. Scores come from Artificial Analysis; where a model has a live API price it is verified against LiteLLM and OpenRouter, and models with no current price are listed without one.
Other benchmarks
compare the same models on a different evalEvery weekday
AI moves fast. Here's your debrief.
News, analysis, tools, and more.
For people who build with AI