Gemini 3的极限挑战：一文读懂什么是“Humanity’s Last Exam”测试？

“Humanity’s Last Exam”（简称HLE），是一个前沿的多模态学术能力基准测试。它源自学术论文（arXiv:2501.14249），由众多学者和领域专家共同开发。其核心目标是解决现有AI测评基准（如MMLU）已接近饱和的问题，旨在精准评估像Gemini 3这类前沿AI模型的真实能力上限。

HLE测试的核心构成是什么？

HLE测试集包含了来自数十个学科领域的极具挑战性的问题，代表了人类知识的前沿。它被设计为最终的闭卷能力测试。

其问题格式多样，主要包括两种：

1. 精确匹配题（80%）： 模型需要输出一个精确的字符串作为答案。

2. 多项选择题（20%）： 模型需从五个或更多选项中选出正确答案。

此外，HLE还是一个多模态基准，其中约10%的问题需要模型同时理解文本和图像信息。

为什么需要Humanity’s Last Exam？

随着大模型技术飞速发展，许多顶级模型在MMLU等流行基准上已能获得超过90%的准确率。这使得我们难以区分模型之间的细微能力差异。

HLE通过引入更高难度和更广泛的知识领域，提供了一个全新的、更高的能力“天花板”。这有助于研究人员更精确地衡量最先进模型的进展，并推动技术持续迭代。

HLE如何确保测试的公平性和准确性？

为保证评估的标准化，HLE采用了一套严谨的评测流程。它通过统一的系统提示词（System Prompt）来规范模型的输出格式。

模型被要求以“解释说明 + 最终答案 + 置信度”的结构进行回应。随后，系统会使用另一个AI（如o3-mini）作为裁判，将模型的答案与标准答案进行比对，从而实现自动化且精确的评分，最终推动更强大可靠的AI应用落地。

常见问题 (FAQ)

问：Humanity’s Last Exam和MMLU等传统测试有什么区别？

答：主要区别在于难度和前沿性。HLE的题目难度远超MMLU，旨在测试当前最强AI也难以解决的问题，以避免“分数饱和”现象。

问：HLE测试对普通用户有什么意义？

答：这类极限测试能推动AI公司不断提升模型能力。一个能在HLE上取得优异成绩的模型（如未来的Gemini版本），意味着它在逻辑推理、多模态理解和知识应用上更强大、更可靠。

问：HLE是专门为Gemini 3设计的吗？

答：不是。HLE是一个开放的基准测试，适用于所有前沿的大语言模型。Gemini 3以及其他顶级模型在该测试上的表现，是衡量其行业领先地位的重要指标。