生物資訊學
大型語言模型（LLM）智能體如今已能夠開展真實的生物醫學研究，但對其進行嚴格評估仍然十分困難。僅基於結果的基準評測在兩個方面存在失效。首先，正確的最終答案可能源於記憶、獎勵破解，或因偶然得到正確數值的錯誤推理。其次，僅僅因為與參考答案不同，合理的替代性分析也會被判定為錯誤。我們提出了 BiomniBench，這是一種過程層面的評估框架，依據由專家設計、針對具體任務的評分細則，對智能體的完整軌跡進行評分。
其首個實例 BiomniBench-DA 包含 100 個數據分析任務，覆蓋 17 種分析任務類型、5 個疾病領域以及一個普通生物學類別；每項任務均基於發表於 Nature、Cell 和 Science 等頂級期刊的高影響力論文，並由原始論文作者或經驗豐富的領域專家共同開發。
對前沿模型和開放權重模型在四種智能體運行框架下進行基準測試揭示了三點發現：（1）前沿模型處於領先地位，但仍有顯著提升空間；（2）智能體運行框架對得分的影響與基礎模型本身相當；（3）智能體在方法選擇、生物學解釋和科學推理方面反覆表現不足。BiomniBench 是首個面向真實世界生物醫學研究中 AI 智能體的過程層面基準，揭示了僅基於結果的評估無法發現的失效模式。
作者聲明不存在競爭性利益關係。
感謝您有興趣幫助傳播有關 bioRxiv 的資訊。
📄 原文連結：https://www.biorxiv.org/content/10.64898/2026.05.12.724604v1?rss=1
🏷️ 大語言模型智能體 過程級評測 生物醫學研究 基準測試 數據分析