用 BioMysteryBench 评估 Claude 的生物信息学研究能力

发布日期： 2026-04-29

来源： https://www.anthropic.com/research/Evaluating-Claude-For-Bioinformatics-With-BioMysteryBench

---

Anthropic 介绍了一项使用 BioMysteryBench 评估 Claude 生物信息学研究能力的工作。文章关注的问题是：当模型不仅能回答知识题，还能阅读论文、查询数据库、运行代码和分析结果时，我们应该如何评估它们是否真的具备科研能力。

为什么科学评估很难

文章指出，科学不像考试题那样有唯一标准答案。在生物学研究中，同一个问题可能有多条合理路径，不同研究者会因为数据处理、实验设计和统计方法不同而得出不同结论。

因此，评估 AI 科研能力不能只看它是否答对某个固定问题，还要看它能否：

• 提出合理假设；
• 选择合适数据；
• 编写和运行分析代码；
• 解释噪声数据；
• 处理开放式问题；
• 在不确定条件下做出科学判断。

BioMysteryBench 的意义

BioMysteryBench 试图更接近真实科研任务。它不是简单问模型某个生物学事实，而是要求模型处理更开放、更模糊、更接近研究现场的问题。

这类 benchmark 能帮助研究者理解模型在复杂科学工作中的真实能力边界。

对 Agent 评估的启示

这篇文章虽然是生物信息学场景，但对 Agent eval 很有价值。很多 Agent 任务也没有唯一答案，例如企业流程改造、代码架构调整、研究报告生成和故障排查。

因此，评估 Agent 不应只看单一正确率，还要设计：

• 过程评估；
• 多维评分；
• 人类专家审查；
• 结果可复现性；
• 不确定性表达；
• 对错误路径的识别能力。

适合阅读的人

• 科研 Agent 和数据分析 Agent 开发者；
• 做 AI benchmark 和 eval 的工程师；
• 关注 Claude 科学能力的人；
• 希望理解开放式任务如何评估的人。