中国网/中国发展门户网讯 人类早期的科研活动至少可以追溯到公元前6世纪的古希腊,以亚里士多德、欧几里得为代表的思想家和科学家作出了重要贡献。现代科学研究开始于16—17世纪的科学革命,伽利略、牛顿是现代科学研究的鼻祖。20世纪中叶以前的几百年间,科学研究的方法只有两种:基于观察和归纳的实验研究(第一范式);基于科学假设和逻辑演绎的理论研究(第二范式)。电子计算机流行以来,计算机对复杂现象的仿真成为第3种科研方式(第三范式)。由于互联网的普及引发数据爆炸,近20年来出现了数据密集型科学研究方式(第四范式)。
2007年1月,图灵奖得主吉姆·格雷(Jim Gray)在他生前最后一次演讲中,描绘了关于科学研究第四范式的愿景。他的报告题目是“eScience:科学方法的一次革命”,他把数据密集型科研看成eScience的组成部分之一,主要强调数据的管理和共享,基本上不涉及人工智能(AI)技术在科研中的作用。“大数据”形成热潮以来,数据驱动的科研越来越受到重视。但单纯的数据驱动有明显的局限性,模型驱动与数据驱动一样重要,两者需要融合。
“科学范式”(scientific paradigm)是托马斯·库恩在其名著《科学革命的结构》中首先使用的术语,主要是指各个学科在一定历史时期形成的对某种专业知识的见解与共识。现在这个术语已成为很流行的热词,含义已经泛化。本文讨论的“科研范式”是指从宏观角度看到的科学研究方式。近几年来,不少学者开始倡导第五科研范式。曾经大力宣传第四科研范式的微软研究院最近也在提倡第五科研范式,成立了新的AI4Science研究中心。2019年11月,笔者发起举办了第667次香山科学会议,会后在《中国科学院院刊》2020年第12期发表了《数据科学与计算智能:内涵、范式与机遇》综述论文,文章中明确提出要开启“第五范式”科学研究,指出“第五范式”不仅仅是传统的科学发现,更是对智能系统的探索和实现,强调人脑与计算机的有机融合,并预言再过10—20年,“第五范式”可能逐步成为科学研究的主流范式之一。
现在还很难对第五科研范式做出严格定义,但其特征已逐步显露出来,概括起来包括以下6点:人工智能全面融入科学、技术和工程研究,知识自动化,科研全过程智能化;人机融合,机器涌现智能成为科研的组成部分,暗知识和机器猜想应运而生;以复杂系统为主要研究对象,有效应对计算复杂性非常高的组合爆炸问题;面向非确定性问题,概率和统计推理在科研中发挥更大的作用;跨学科合作成为主流科研方式,实现前4种科研范式的融合,特别是基于第一性原理的模型驱动和数据驱动的融合;科研更加依靠以大模型为特征的大平台,科学研究与工程实现密切结合等。
鄂维南等科学家将“AI for Science”翻译成“科学智能”,这个术语已经开始流行,可作为第五科研范式定名与翻译的借鉴,但智能化的科研不限于基础科学研究,也包括技术研究和工程研究的智能化。科学技术部和国家自然科学基金委员会启动部署的“AI for Science”专项称为“人工智能驱动的科学研究”,但在与实验、理论、计算机仿真、数据驱动等范式名称放在一起时,又显得不够精炼。在以上基础上,本文将第五科研范式称为“智能化科研”(AI for Research,简称“AI4R”),文字相对精炼一些,内容更广泛,含义也更深刻。
智能化科研(AI4R):成功案例
数据驱动研究方式往往足够快但不够精确;而基于第一性原理的理论推演和计算方式算得准但不够快,只能处理小规模的科学问题。近几年,人工智能技术在生物、材料、制药等领域的科学研究中得到广泛应用,AI4R既可以提高科研效率,又能保证科研要求的精确性,成为科学研究的强大推动力。AI4R的成功案例很多,本文介绍与中国科学院计算技术研究所(以下简称“计算所”)有关的3个案例。
蛋白质三维结构预测。利用深度学习技术预测蛋白质的三维结构是AI4R的里程碑式的科研成果。到目前为止,AlphaFold 2已预测了超过100万个物种的2.14亿个蛋白质三维结构,几乎涵盖了地球上所有已知的蛋白质。AlphaFold 2不仅是结构生物学领域的颠覆性突破,更重要的意义是消除了科学家对人工智能认识上的障碍,照亮了AI4R前进的道路。过去即使计算机科学家非常精确地预测了蛋白质三维结构,也只认为是所谓“干实验”成果,必须要生物学家做了“湿实验”以后才会接受。现在生物学家已能够相信人工智能的预测,这是科学界的跨时代进步。在AlphaFold 2推出以前,计算所在蛋白质三维结构预测方面就曾经做出过国际领先的科研成果。
分子动力学模拟。中美合作的深度势能团队采用全新的“基于深度学习的分子动力学模拟”研究方法,将具有第一性原理精度的分子动力学模拟规模扩展到1亿个原子,计算效率提升1 000倍以上。这是国际上首次实现智能超算与物理模型相结合,引领了科学计算从传统的计算模式朝着智能超算方向前进。此论文的第一作者贾伟乐目前在计算所工作。2022年,他将分子动力学的计算规模提升至170亿个原子,计算模拟的速度提高7倍,一天能够模拟11.2纳秒的物理过程,比2020年获得戈登·贝尔奖的成果又提升1—2个数量级。
芯片全自动设计。2022年5月,计算所成功利用人工智能技术设计出全球首款全自动生成的32位第五代精简指令集(RISC-V)中央处理器(CPU)——“启蒙1号”。设计周期缩短至传统设计方法的1/1 000,仅用5小时就生成了400万逻辑门。这一创新成果是人工智能在复杂的工程设计领域取得的重大突破,预示着“AI for Technology”与“AI for Science”一样,具有十分光明的前途。CPU设计的准确率要达到99.999 999 999 99%(13个9!)以上;而若采用神经网络方法,包括最近很热门的大语言模型,都无法保证精度。计算所陈云霁团队发明了用二进制推测图(BSD)来表示电路逻辑的新方法,可以将一般布尔函数的描述复杂度从指数级降到多项式级。“启蒙1号”的一个重要发现是,不只是基于神经网络的语言大模型,类似决策树的BSD也具有涌现功能。这一意外的发现引发了人们对神经网络之外的智能技术的期盼,只要模型足够复杂,其他的人工智能技术也可能涌现出意想不到的功能。
智能化科研(AI4R):向智能时代迈进中出现的新科研范式包養網
科研范式随着人类生产力的进步不断演变。农业时代只有第一范式,工业时代开始流行第二范式,信息时代出现第三和第四范式。现在人类处于信息时代的智能化阶段,正在向智能时代迈进,智能化科研范式顺应而生。
从1936年图灵提出计算模型开始,计算机科学技术已经研究80多年了。现在大家普遍认为,所有的计算机都是图灵机的实现,其实图灵模型主要是用来研究计算的不可判定性。1943年麦卡洛克(McCulloch)和皮茨(Pitts)提出了神经元计算模型,这个模型在可计算性上与图灵模型是等价的,但对自动机理论而言,可能比图灵模型更有价值。冯·诺依曼曾指出:“图灵机和神经网络模型分别代表了一种重要的研究方式:组合方法和整体方法。McCulloch和Pitts对底层的零件作了公理化定义,可以得到非常复杂的组合结构;图灵定义了自动机的功能,并没有涉及到具体的零件。”这两条技术路线一直在竞争,尽管神经网络模型受到排挤打压,但相关学者始终没有停止研究。一直到201包養網2年,Hinton等学者发明的深度学习方法在ImageNet图像识别比赛中一鸣惊人,神经网络模型才一下子红火起来。
现在流行的神经网络模型与McCulloch和Pitts提出的模型并没有实质性的改变,能在图像、语音识别和自然语言理解上取得重大突破,除了采用反向传播和梯度下降算法外,主要是数据量大了几个数量级,计算机的算力也增强了几个数量级,量变引起了质变。冯·诺伊曼的著作《自复制自动机理论》中指出,“自动机理论的核心概念在于复杂性,超复杂的系统会涌现出新的原理”,并提出一个重要概念——复杂度阈值。低于复杂度阈值的系统,就会无情地衰退耗散,突破了复杂度阈值的系统,就会由于在数据层的扩散和变异作用而不断进化,可以做很困难的事情。
现在的神经网络模型有数千亿甚至上万亿参数,可能已接近能处理困难问题的复杂度阈值点。神经网络不是按照确定的算法实现图灵计算,其主要功能是“猜测加验证”。现在流行的卷积神经网络能够用于猜下一个字是什么。猜测和计算是两个不同的概念,基于神经网络的机器更合适的名称是“猜测机”,而不是“计算机”,其解决复杂问题的效率大大高于图灵模型。神经网络模型只是人工智能众多模型中的一种,只要跨过复杂度阈值点,其他人工智能模型也有可能表现出超乎寻常的功能。智能化科研就是要让各种人工智能技术在科研工作中大放异彩。
人工智能技术经过60多年的沉淀和积累,在数据和算力均足够丰富的条件下,已经成为推动科研和生产的利器,爆发出前所未有的能量。尽管实现真正的通用人工智能还要走很长的路,但毫无疑问,智能化已经成为当今时代的主要追求。对时代的认识不能犯错误,错过时代转变机遇将遭受历史性的降维打击。
智能化科研(AI4R)的标志:机器涌现智能,人机物智能融合
第五科研范式的标志性事件是,在AlphaFold 2实现蛋白质结构预测和后来GPT-4表现出的令人惊艳的功能中,机器猜想都发挥了关键作用,说明大规模的机器学习神经网络已涌现出某种程度的认知智能。尽管开发者并不能完全解释机器的认知智能是如何产生的,但实践已证明,在很多应用中,机器的猜测是正确的。人造的硅基产品涌现出超出常规计算和信息处理的认知智能,这是一个划时代的变化。
所谓“涌现”,是指系统中的个体遵循简单的规则,通过局部的相互作用构成一个整体时,一些意想不到的属性或者规律会突然在系统层面出现,即“系统定量上的变化可以导致系统行为上的定性变化”。生命的形成,蚁群、鸟群的群体性行为,人脑的智慧,人类许多社会行为等都源自“涌现”。人们常说,21世纪是“复杂性科学的世纪”,而“涌现”就是复杂性科学最关注的主题。美国圣塔菲研究所1984年就开始探索科学和社会中的涌现行为,试图创造一种统一的复杂科学理论来解释“涌现”,但至今揭示“涌现”的机理仍然是一个开放性的科学问题。
机器具有人类解释不清楚的“暗知识”,这对我们曾经固有的认识论是一次巨大的冲击。有些学者认为,计算机只能机械地执行人编写的程序,不可能有智能。但上千亿自动生成的参数构成的人工神经网络已经是一个有“认知”能力的复杂系统,其涌现能力不是程序员编程时直接输入的,是机器学习形成的复杂系统自己具有的。所以我们应当承认,人有人智,机有机“智”。人机互补是第五科研范式的主要特征之一,今后要争取做到人类和人工智能“各显其智,智智与共”。
这里所说的“机器的认知能力”不同于人的认知能力,“机器理解”也不同于人的理解。所谓“机器理解”是指,如果机器通过学习形成某些规则,可以实现一个符号空间到意义空间的映射,就说它对符号空间具有一定的理解能力。例如,机器翻译可以不懂语义,但能将中文“映射”到其他语言,哪怕是没有接触过的小语种。人工智能天气预报模型可以不懂气象理论,但能做出比数值天气预报还精确的预报。这可能是一种新颖的“理解”形式,一种能够实现预测的理解形式。如同我们可以说飞机具有与鸟类不同的飞行能力一样,不必纠缠机器的“理解”是否与人类一样。理解和意识有不同层次的内涵,有理解能力未必有自我意识。将理解能力与自我意识剥离,有助于降低人们对人工智能莫名其妙的恐惧。对机器学习形成的大模型是否会具有类似人脑的涌现能力,不同的学者有不同的判断。Hinton等学者始终坚信,人工神经网络的神经元虽然简单,但复杂的机器学习网络与人类的大脑有某种程度的相似性。正是由于少数有前瞻眼光的科学家的这一份坚信,默默耕耘几十年,才达成今天人工智能技术的大突破。笔者曾问过ChatGPT和“文心一言”:“机器是不是真的具有智能?”ChatGPT回答:“机器确实拥有自己的智能”。“文心一言”回答:“目前的主流观点认为,机器暂时没有真正的智能。”机器的回答与创建者选择学习内容的意向有关,也许,中美两国学者对机器智能的不同认识是导致我们在大模型研发上落后的背后原因之一。
智能化科研(AI4R)的主要目标:有效应对难解的组合爆炸问题
传统科学不但能揭示自然界的一些奥秘,而且能解决很多困难的工程问题,例如大飞机的制造。一架大飞机有数百万个零部件,因为我们明白每个零件的作用,也理解它的整个系统的空气动力学原理,其复杂性已经在我们的掌握之中。但对于大脑,即使我们理解了每一个神经元,仍然不能解释意识和智慧是如何产生的,因为复杂系统的功能和性质并不是其组成部分的线性之和。在生物、化学、材料、制药等许多领域,科学问题中假设空间非常大,例如小分子候选药物的数量估计有1060种,可能成为稳定材料的总数多达10180种,逐个筛选完全不可行。这就是我们常说的“组合爆炸”,数学家称之为“维度灾难”。我们有了打开科学大门的钥匙,却没有力气把沉重的大门推开。经过300多年的科学探索,知识之树底层的果实差不多都摘光了,留在树尖的果实几乎都是难啃的复杂之果。过去4种科研范式难以解决的组合爆炸问题是第五范式的主要用武之地。
人工智能的目标不是一味地模拟语音、视觉、语言等人类自身的基本技能,而是要让人工智能拥有和人类一样认识世界和改造世界的能力。人脑中并没有确定性的算法,而是采用抽象、模糊、类比、近似等非确定的方法来降低认知的复杂性。冯·诺伊曼早就预言,“信息理论包括两大块:严格的信息论和概率的信息论。以概率统计为基础的信息理论大概对于现代计算机设计更加重要。”近几年机器学习的巨大进步,主要是采用了概率统计模型,对我们不完全了解的问题进行建模分析。机器学习提供了跨尺度建模的工具,能跨越所有物理尺度进行建模和计算,通过试错和调整,不断完善所获得的结果,追求统计意义上最终结果的可接受性。统计意义的正确性与确定性计算程序的严格正确性是解决复杂问题的不同思路。人工智能研究的新近发展体现一种趋势:放弃绝对性,拥抱不确定性,即只求近似解或满足一定精度的解。这或许是这次人工智能“意外”取得成功的深层原因。
我们把第五科学范式称为智能化科研,原因之一就是,只有突破还原论和经典计算范式的思想枷锁,采用智能化的新范式,才能应对输入、输出和求解过程的不确定性。问题的复杂性随计算模型的改变而改变。人们常说的NP困难问题是对图灵计算模型而言的。自然语言理解、模式识别等NP困难问题在大模型上能有效解决,说明大语言模型(LLM)对这类问题的求解效率远远超过图灵计算模型。AI4R的成功本质上不是大算力出奇迹,而是改变计算模型的胜利。
解决复杂度不高的问题,人们追求采用“白盒模型”,强调可解释性。但对于非常复杂的问题,短期内难以获得“白盒模型”。科学研究可以被视为将“黑盒模型”转化为“白盒模型”的过程,即从对某现象或过程不了解逐步推进到充分理解其内部机制和原理。智能化科研提醒我们,一定时期内对深度学习这一类“黑盒模型”要有一定的容忍度,既要以“实践是检验真理的唯一标准”为原则,承认“黑盒模型”某种程度的合理性,在其基础上开展深入研究,促进科学技术发展;又要防止潜在的失包養網控或不良后果,以科技伦理监管科研。
智能化科研(AI4R)的重要特征:平台型科研
今天的科研还需要依靠科技工作者个人的聪明才智和想象力,好奇心驱动的科研仍然是科研的重要组成部分,但科研工作越来越离不开科研的三要素:高质量的数据、先进的算法模型和强大的计算能力。近几年,这3个要素的规模都在迅速扩大,大数据、大模型和大算力已开始构成不可或缺的科研大平台,平台型科研也成为第五科学范式的重要特征。
ChatGPT的问世掀起了构建大模型的热潮,模型的参数规模已经远远超出人们过去的想象。大模型确实涌现了一些小模型不具备的功能和性能,但大模型究竟做到多大规模才到尽头,现在还没有定论。大模型必然需要大算力,训练大模型需要的巨大电力引起了人们的担忧,也促使科技界探索大幅度节能的变革性器件和计算系统。大语言模型目前主要受到企业界的青睐,能不能把大语言模型当成通用的知识库,为大科学模型提供一些基础的知识和常识,提高科学大模型的泛化能力,是需要探索的重大科学问题。以大模型为代表的人工智能还包養網处在发展的初期,现在的人工智能计算只相当于科学计算的电子管计算机时代,迫切需要晶体管和集成电路式的重大发明。
现在流行的说法是“大算力出奇迹”,这种说法强调了模型规模和数据规模的作用,在一定程度上是正确的。但从理论的角度来看,线性扩展计算能力对扩大可解决的NP困难问题的规模没有本质性帮助,单纯提高算力不是万能药。如果围棋扩大到20×20的棋盘,只用包養網在19×19的基础上横纵两边各多加1条线,但野蛮搜索的算力需要提高1018倍。训练围棋模型搜索到的游戏位置占所有可能游戏位置的比例是几乎无穷小的数(10-150)。计算所全自动设计CPU的算法将几乎无穷大的搜索空间压缩到106。这些成功案例都说明,出奇迹的真正原因是压缩搜索空间,这是靠智能算法和模型优化!世界著名的计算机科学家李明教授从第一性原理出发,证明了“理解就是压缩,大语言模型本质上就是压缩”。现在全国推出了几百个大大小小的机器学习模型,但如果只是用小模型模仿大模型,不在算法的优化、模型的微调对齐和数据的清洗整理上大功夫,只会浪费大量算力,难以缩小与国外的差距。
目前,科技界对大模型的前途存在两种争锋相对的预判。以OpenAI公司为代表的一些科学家认为,只要扩大模型和数据的规模,增加算力,未来的大模型很可能会涌现出现在没有的新功能,呈现更好的通用性。更多学者认为,大模型不会一直保持这两年的发展速度,与其他技术一样,会从爆发式增长走向饱和。因为按目前训练大模型的算力3个月翻一番的增长速度,如果延续10年,算力就要增加1万亿倍,这是不可能发生的事。现在下结论哪种预判正确还为时过早。大语言模型可能不是实现通用人工智能的最佳道路,只是人工智能发展过程中的一个阶段性技术,但它比前两波人工智能采用的技术具有更大的使用价值。我国必须尽快缩小在大模型科研与产业化上与国外的差距,走出符合国情的大模型发展之路,同时努力探索不同于大模型的人工智能新途径。
第五科研范式需要的科研大平台实际上是涵盖科研三要素的智能化科研基础设施,除了共享的大科学模型和工具软件,还包括海量的科学数据、知识库,当然还要提供统一调度的算力。基于大平台的新科研范式将降低获取数据、模型和知识的成本,提升算法和模型的应用能力,加速新知识的迭代。麦卡锡和尼尔森对人工智能(AI)做出过另一种解释:AI=Automation of Intelligence(智能的自动化)。知识获取、处理和存储的自动化也需要大平台来实现。建设全国规模先进的科研基础设施,需要充分认证、精心谋划。其中,跨领域的大科学模型与垂直领域专业模型的协同配合是需要考虑的重要问题。人工智能发展的历史已经证明,忽视模型的泛化能力,退回到过去的专家系统是一条没有希望的道路。但通用性也是一个相对概念,人类本身也不具有绝对的通用性,发展人工智能不必把理想的通用性作为唯一追求的目标,应重视借助大模型在一个行业或领域内提高效率,降低成本。真正通用的人工智能至少还需要20年以上的时间才能实现,近20年内要采取通用和专用并重的技术路线。算力网的建设既要考虑“块块”的地域需求,也要考虑“条条”的各行业业务特点,各个不同的行业都应该构成高效率的知识和资源共享的专业子网。
智能化科研(AI4R)的重要实现途径:跨学科交叉与多种科研范式的融合
计算科学与不同学科的融合,正在驱动一场科学的数字革命。孤立地追求单学科发展已经不合理了,学科交叉融合是第五科研范式——智能化科研(AI4R)的重要实现途径之一。近百年来,学科越分越细。1900年约有500门学科,2000年大约是5 000门,100年增加10倍。如果继续按照这个趋势发展,2100年可能增加到50 000门。我国教育部门设置的学科也是越来越多,与学科融合发展的趋势是否背道而驰?如何在推动智能化科研的过程中,大力改革我国的科研和教育,值得高度重视。
人工智能已经广泛应用到前4种科研范式,不论是自动化的实验设备、计算机辅助的理论分析、可视化的计算机模拟,还是智能化的数据挖掘,人工智能技术都发挥了关键的作用。第五科研范式并没有取代原来的4种范式,只是在前4种范式无能为力的情况下才凸显它的威力。第五科研范式也不是科研范式演进的终结,今后可能出现第六科研范式、第七科研范式……。在第五科研范式中,模型驱动和数据驱动深度融合,“数据”和“原理”可以相互转化,从“数据”中可以提炼出经验性“原理”,也可以从第一性原理出发仿真模拟出高质量的数据。现在各个领域中需要解决的难题大多需要人机交互,人在回路中,人机融合的具身智能将发挥越来越大的作用。
第五科研范式还有一个特点是科研与工程的融合。构建科研大平台,筛选高质量的数据,将大模型做到极致,都需要高水平的工程师。今天世界上引领人工智能的不是一流的大学,也不是国立实验室,而是OpenAI、DeepMind这样的创业公司。这些科研团队不仅具备前沿性、原创性基础科研能力,还做了大量系统研发和工程开发,而且具备开发技术平台、研发产品、推进商业化的能力。我国要在人工智能领域进入国际第一方阵,需要集中全国优势力量,构建集产学研和工程开发于一体的新型科研团队。
结语:积极主动参与到科研智能化的革命中
科研的智能化是一场科技上的革命。它带来的机遇和挑战将决定未来20年,中国在科技发展上是与国际先进水平拉大差距还是迎头赶上。决定前途的不完全是技术上被人“卡脖子”,而是我们自己思想认识上的障碍。有两种认识在影响我们的决策:认为只要是计算机执行的软件都是人事先编好的算法,所谓机器智能都是无稽之谈;人工智能可能产生人控制不了的风险,必须事先确定其产生的结果是完全安全可信的,才能允许推广使用。第1种认识主要是来自计算机科学家内部,第2种认识可能主要来自政府部门。其实,计算机开始出现认知智能是一件划时代的重大突破,我们不能视而不见。机器产生的认知是基于随机性和概率分布,令人震惊的正确预测和所谓“幻觉”是一个硬币的两面,相辅相成。如果强行决定人工智能模型不允许出现幻觉,那它的涌现能力也就没有了。我们必须在与幻觉共存的环境下发展人工智能技术,发展与安全必须双轮驱动。
所谓“AI for Science”本质上是“AI for Scientists”。人工智能科学家和工程师不是智能化科研的主角,各行业的科学家才是主角,因为各个领域的智能化建模一定是以本领域的科学家为主来完成。各领域的科学家要担当起这份重任,自身需要智能化转型。如果科学家不懂计算机、不懂人工智能,要推动AI4R就非常困难。目前,推动AI4R主要的阻力来自科学家本身,因为还有不少科学家认为智能化不属于本科学的范畴,认为学科的交叉融合不是正统科学。只有广大科学家积极主动地参与,智能化科研才能走上健康快速发展的轨道。
(作者:李国杰中国科学院计算技术研究所。《中国科学院院刊》供稿)