9月8日，DeepMind在arXiv上发布了一篇题为《An AI system to help scientists write expert-level empirical software》的预印本论文。不得不感叹DeepMind在当下AI智能体快速发展的背景下，仍能持续关注AI for Science的基础性问题。笔者之前的文章曾探讨过AI原生科研系统的构建问题：
现有research的范式需要被颠覆，应该匹配AI的长处而不是人的长处，尝试对复杂问题推理模式进行探索和穷尽，从而使得人类科学家”间接”地掌握超出其能力范围的认知。 — Alex Su《设计AI原生的Research体系》
进一步地笔者希望就该问题进一步讨论，重新思考一些现有体系下被忽视的问题：Hallucination是否没有被予以正确的关注，以及其能否成为重构研究范式的钥匙？与读者朋友共勉。
从AlphaGo到AI for Science
人类最早开始向AI学习，大概要追溯到AlphaGo首次击败李世石之时——转眼居然已经是2016年的事了。在这几年里，围棋棋手逐渐从以往依赖个人风格与直觉，转向了对AI招法的学习与理解。比如过去几乎无人采用的”点三三”（一种布局策略，在前AlphaGo时代被认为易于防守但难以展开，这一经验后来被AI的实践所改变），如今几乎出现在每一盘棋局中。以现在的视角回看当初，那段时光恍如隔世，其间更迭又颇堪玩味。2024年41岁的李世石接受《纽约时报》的采访时回忆了这段往事：
“输给人工智能，从某种意义上说，意味着我的整个世界都坍塌了。我无法适应它，我以为人工智能总有一天会打败人类，我只是觉得它还没到来。” ——The New York Times
接着AI的发展被全世界的每一个人都看到了：
- 2019年4月：OpenAI Five击败Dota2世界冠军战队OG
- 2022年11月：OpenAI发布ChatGPT，正式开启了LLM纪元
- 2024年10月：以AlphaFold2为代表的AI基础研究获诺贝尔化学奖，AI4S被推上风口浪尖
- 2025年9月17日：DeepSeek-R1登上了Nature封面
这世界发展得太快，如今人类应该如何跟AI协作已经成为了科学领域最值得每一个学者回味的基础问题，为此DeepMind首先定义了两个概念：
- 实证软件（Empirical Software）：最大化某个可定义、可测量的分数为目标的软件
- 可评分任务（Scorable Task）：可以定义/测量出一个确定分数从而最终解决的任务
实证软件和可评分任务的定义刻画了一个通过穷尽式地观测和验证循环找到科学解决方案方法论，只是相比最早的AlphaGo和其从头训练版本AlphaZero，这一问题面临着复杂得多的场景。
在应对此类复杂场景时，LLM为处理过程提供了方法论基础，具体方式是将可量化的评估任务及相关研究思路以Prompt形式输入模型，进而生成代码以构建实证研究所需的软件工具。该实证软件本身的优化则通过基于PUCT（Predictor + Upper Confidence bound applied to Trees）框架的树搜索（Tree Search）算法实现。
在T>1时，每一轮叶子节点通过一个沙盒运行生成出的代码来得到一个得分，这里应用下面的公式来达到RL中常见的Exploration and Exploitation Balance。
RankScore评估当前T中所有评估节点的归一化排名，倾向于选择已知性能比较好的程序，代表Exploitation。最后一项代表跟Ntotal的一次根号成正比的罚分，鼓励模型对访问次数较少的节点做更高权重从而尝试新路径Exploration。
接着，Google团队展示了从简单到复杂的一系列研究案例。其中，部分任务在颇具严谨的态度下，被严格定义为”可评分任务”存在一定争议，因此笔者仅列举了两个具有直接现实意义的案例：
- COVID-19住院预测：关乎公共卫生资源分配，且具备真实确定的结果
- 求解困难积分的数值方法：在数值积分库（scipy.integrate.quad()）的19个未成功问题中有效处理了17个
Google的研究方法在CDC官方集成模型的加权区间分数（WIS）评估中超越其他系统位居首位，彰显了人工智能系统在解决可量化评分问题方面的显著能力。然而，正如作者指出，该系统的应用前提是科学问题能够被明确界定且可量化评估的指标任务，而真实科研环境中如何制定有效的评估标准本身即是一项重大挑战，我们需要进一步讨论在此类情境中的应对之法。
强化学习三要素：算法、环境、先验
回顾最早的AlphaGo论文可以看到，初代AlphaGo中的SL policy network是通过人类专家棋局训练得到的。根据原文描述，该模型基于6-9段棋手的16万局对弈数据，以当前棋盘布局预测下一步的落子概率，从而构建了一个先验策略（prior）。从今天的视角看，这一先验并非必要，后续的AlphaZero也证实了这一点。若从强化学习的三大要素——算法、环境与先验来进行分析，可归结于以下原因：
- 环境：围棋任务与一般可评分任务在本质上是相似的，其环境能够通过明确的胜负规则提供精确的Reward信号
- 先验：围棋的复杂度并不如想象中那样高。尽管棋盘有19×19=361个落子点，但人类棋手在实际对弈中，基于经验每一手可行的落子位置通常只有少数几个，这种结构性先验极大地辅助了MCTS（蒙特卡洛树搜索）的剪枝效率
统计显示，像AlphaZero这样的强大算法，其平均搜索节点数仅约8万个，这说明其策略网络（Policy Network）所输出的概率分布已经非常集中（sharp）。
现实世界的挑战
现实世界中真实问题的解决方案，所谓的”概率分布”往往并不像棋局那样sharp，也不像数目判断输赢那样简单。姚顺雨在博客文章《The Second Half》中指出，AI在真实世界中的应用需更加关注有效的测试验证，这是此处提出的第一个重点。另一方面，强化学习之父David Silver与Richard Sutton在《Welcome to the Era of Experience》中强调，构建高质量的先验（Prior）是推动发展的关键，可视为第二个重点。
笔者认为，针对不同的现实问题，环境与先验更像是一种需要权衡的关系——其根本立足于强化学习的三要素：算法、环境、先验。当模型算法趋近瓶颈时，要么借助更丰富的经验（即Prior）来改善求解过程中的概率分布，要么寻求更接近真实情形的价值函数，以降低对动作空间命中”有意义集合”的依赖。
在现实问题研究中，我们往往需要借助更精密的观测手段来深化对环境的理解。正因如此，若要真正实现《The Second Half》中所强调的”Evaluation Setups for Real-world Utility”，其挑战往往更多来自成本制约，而非技术层面的理想化追求。
这一点在长期以来的科学研究中也有所体现——那些难以获取精确奖励反馈的领域，往往更加依赖经验积累，在生物学与社会学研究中尤其明显。以本栏目聚焦的药物发现为例，对药物疗效与毒性的评估通常涉及长期、多维度的观测（包括生化指标、患者生存率等），并且个体差异显著。例如，抗药物抗体（Anti-drug Antibody, ADA）在生物制剂长期给药过程中是一个十分重要的问题。但由于ADA的形成不仅与给药方式、频率和制剂配方相关，还高度依赖个体的免疫特征，因此长期以来，基于生物制剂本身对其的预测难以取得实质性突破。在这种情况下，我们或许更应着眼于优化观测手段，以推动该问题的解决。
从现实成本的角度来看，强化学习祖师爷Sutton所强调的”从经验出发”的思路，其实更贴近实际应用的可行性：如果我们难以从根本上大幅增强观测能力，那么更值得探索的或许是如何更充分地挖掘经验学习的潜力。
大语言模型的经验边界
大语言模型（LLM）能够达到如今的高度，一定程度上得益于语言本身作为人类抽象思维载体的特性。但与此同时，这也为基于LLM的经验学习设定了一种隐形的上限——智能体往往难以超越已有的人类知识体系，所谓的”智能”在某种程度上更像是一种通过文本实现的、高度集成化的经验再现。
这也促使许多学者开始寻求新的范式以突破这一局限。一个已经逐渐显现的迹象是，我们或许应当更加重视并深入理解模型的”幻觉”（Hallucination）现象。
Hallucination常被译为”幻觉”，其核心词根来自拉丁语动词halucinari（或拼写变体alucinari），原意是”思想漫游”（to wander mentally）或”心神恍惚、出神”（to be absent-minded）。事实上，自2000年以来，该词在计算机视觉领域成为常用术语，逐渐被赋予负面含义，学者们通常会极力避免模型出现Hallucination。
但经常使用ChatGPT的用户可能注意到，自GPT-5发布以来，模型在文学创作上的表现似乎失去了以往的灵性，很难再写出令人惊艳的文字。对LLM可靠性的持续优化就好比城市管理者面对墙上的涂鸦，主要精力都用于清洗墙面，却无人思考这些涂鸦中是否隐藏着下一个班克斯（Banksy）。
重新定义”创造性幻觉”
我们重新定义以下”创造性幻觉”：这是一种由模型生成的、虽偏离经验却能够提供新颖视角并启发关联的内容。它并非对现实的错误描述，而是对可能性的探索。
回顾AlphaGo的例子：在一个不再仅由361个节点构成、也没有绝对输赢的游戏中，如何基于棋局过往经验进行采样，并探索性地创造看似”错误”实则精妙的”神之一手”，正是关键所在。由于我们面对的不再是简单的可评分任务，如何在不确定性中作出甄别，就成为一项重要能力，也就是人们常说的”品味”。
在技术层面，不同于当前LLM以自回归预训练，以人为标准的后训练+推理模式，未来或许可探索更注重”跨域联想”与”逻辑跳跃”能力的模型优化方式。类似于LLM通过对代码的预训练能够显著提升推理阶段文本泛化能力，通过更加AI原生地引入基于因果或符号推理的泛化机制，模型可能更系统地将看似无关的概念构造为新颖假设。同时，借助可解释人工智能技术对生成过程加以约束和追溯，或能提高假设的结构合理性，减少无意义的幻觉。
这并不是要完全避免”错误”，而是试图在大量生成中提高有价值洞见的比例。
研究者的新使命
而对研究人员来说，逐步适应与这类系统协同工作的过程，也意味着研究习惯的转变：
- 保持开放心态：一方面，保持对反经验观点的接纳心态，不轻易以”不符合直觉”而否定其潜在价值
- 培养新”品味”：另一方面，也要发展出一种新的判别”品味”——返璞归真，回到第一性原理。培养能够快速识别大量幻觉中那些符合科学逻辑、具备启发性的思考片段
这要求研究者不仅熟悉本领域的思维认知，还要具备跨学科的视野和更强的批判性评估能力。
结语
这项探索既需要技术上的持续突破，也依赖科学社群在方法论和评价标准上的逐渐演进，而始终保持谦逊和开放，将是推动这一可能性的重要基础。
相信AI能成为延伸人类智慧、激发无限想象的工具，使得人类社会迈向更富有创造力的未来。