AI多多的AI日志测评数据 ↘
BENCHMARKS · DIFFERENT TASKS, DIFFERENT ANSWERS

模型能力
分领域看

这里不做“总榜”或主观强弱排名。每张卡只呈现一个公开基准在特定测试条件下的结果，并附上原始榜单，避免把不同领域强行相加。

抽象推理真实工程终端 Agent竞赛编程
PUBLIC EVALUATIONS

公开测评成绩

分数来自对应测试机构或公开榜单快照。模型版本、提示词、Agent 框架、推理预算不同，分数不能跨基准直接比较。

抽象推理

ARC-AGI-2

原榜单 ↗

测试陌生规则归纳与泛化；分数会受推理预算显著影响。

半私有任务通过率
  1. Claude Opus 4（Thinking 16K）8.6%
  2. o3（High）6.5%
  3. o4-mini（High）6.1%
  4. Claude Sonnet 4（Thinking 16K）5.9%
  5. Gemini 2.5 Pro3.8%
  6. DeepSeek R11.3%
终端 Agent

Terminal-Bench 2.1

原榜单 ↗

评估模型在可复现终端环境中使用工具、调试与完成长链条任务的能力。

端到端任务成功率
  1. GPT-5.6 Sol Ultra91.9%
  2. GPT-5.6 Sol88.8%
  3. Kimi K388.3%
  4. DeepSeek V4 Pro87.9%
  5. Qwen 3.8 Max86.6%
软件工程修复

SWE-bench Verified

原榜单 ↗

基于人工筛选的真实仓库问题；Agent 框架与推理设置会改变结果。

真实 GitHub Issue 解决率
  1. Claude 4.5 Opus（高推理）76.8%
  2. GPT-5.2（高推理）71.8%
  3. Claude Opus 4.545.9%
  4. Claude Sonnet 4.543.6%
实时编程

LiveCodeBench

原榜单 ↗

持续更新的竞赛编程题，降低训练数据污染；不等同于完整工程能力。

Pass@1
  1. DeepSeek V4 Pro92.5%
  2. DeepSeek V4 Flash90.9%
  3. Kimi K2.690.2%
  4. Gemini 3 Pro86.3%
  5. GPT-5（High）81.7%
  6. Qwen 3.579.3%
HOW TO READ

先看任务，再看分数。

例如 Terminal-Bench 更接近“模型能否在工具环境中完成实际任务”，ARC-AGI 则更强调陌生规则下的抽象推理。它们回答的问题不同，所以页面不会把它们合成一个虚假的“第一名”。