AI抢攻人类奥赛金牌!DeepMind数学模型做对25道IMO几何题,GPT-4惨败得0分

2024-01-18 20:16 467 阅读 ID:1809
新智元
新智元

谷歌DeepMind的AI智能体,又破纪录了!

这个名叫AlphaGeometry的AI系统,能做出国际数学奥林匹克(IMO)的30道几何题中的25道,这个表现,已经接近了人类的奥数金牌得主。

从此,AI在数学领域的推理能力再次实现史诗级升级,超越此前的最高水平。

这一研究已经登上Nature。

                                   论文地址:https://www.nature.com/articles/s41586-023-06747-5

下面这道IMO大赛几何真题,曾经难倒了一大批参赛选手,而如今,AI却能把做出来了!

更特别的是,这个模型是靠合成数据训练出来的,而非通常使用的真实数据。

训练过程是这样的:先初始生成了十亿个随机几何图形,全面分析每个图形中点和线的所有关系。

随后,AlphaGeometry找出了每个图形中所有的证明,并反向追溯出为得到这些证明所需添加的额外几何元素(如果有的话)。

就这样,AlphaGeometry结合了神经语言模型和符号演绎引擎的优势,已经形成了一个神经符号系统。两个系统中一个提供快速提供直觉式的想法,另一个负责更谨慎理性的决策。一个大胆假设,一个小心求证,不断改进方案,为复杂的几何定理找到证明。

而合成数据的思路,也为大模型语料不足的问题,提供了崭新的出路。

网友惊呼:这简直就是创造了历史!

OpenAI研究科学家,德扑AI之父Noam Brown表示,「祝贺GoogleDeepMind团队取得这个成绩!看到AI在高等数学方面取得了如此大的进步,令人兴奋」。

真题实测

话不多说,我们直接上真题。已知等腰三角形ABC中,AB和AC的边长相等,求证:∠ABC=∠BCA。

等腰三角形的底角相等,这是学过初中数学的人都知道的常识(等腰定理1),可是要怎么证明?

AlphaGeometry的做法是,通过运行符号推理引擎,来启动证明搜索。

这个引擎会从定理前提中不知疲倦地推导出新语句,直到定理被证明,或新语句被穷尽。

但如果符号引擎无法找到证明,语言模型就会构造一个辅助点,在符号引擎重试之前增加证明状态。

如是循环,一直到找到解决方案为止。

比如,在第一个辅助构造「D作为BC的中点」之后,环路终止了。

随后就开始证明过程,证明由另外两个步骤组成,这两个步骤都利用了中点的特性:「BD = DC」,「B,D,C是共线的」。

此后不断循环,直至证明∠ABC=∠BCA。

与此同时,2015年IMO的P3,也被AlphaGeometry轻松搞定。

如果要做对这道题,需要构建三个辅助点。

在这两种解决方案中,研究者将语言模型的输出(蓝色)和符号引擎输出交错排列,反映出了执行顺序。(具体证明过程见论文)

甚至,AlphaGeometry还在IMO 2004 P1中,发现了未被使用的前提。

由于提取最小前提所需的回溯算法,AlphaGeometry识别了一个对证明工作来说不必要的前提:O不必是BC的中点,P、B、C 就是共线。

其中,右上是原始定理图,底部是广义定理图,其中O从其中点位置释放出来,而P仍然停留在直线BC上。

原始问题要求P介于B和C之间,这是广义定理和解决方案无法保证的条件。但AlphaGeometry就解决了这一点。

此外,在做2008年IMO P6的证明题中,AlphaGeometry却失败了。这是所有30个问题集中最难的一个,人类平均得分仅为0.28/7。

值得一提的是,北大韦神曾连续两届以满分拿下了IMO 2008、IMO 2009的金牌。

为什么考AI要用奥数题

怎么评价一个AI系统的数学和逻辑推理能力够不够强?

那自然是给它上最难的数学题,比如IMO的原题。

毕竟,能参加国际数学奥林匹克竞赛的,都是全世界数学最优秀的高中生,可以说代表了全人类的最高水平。

所以这一次测试,也可以看作AI和人类的对决!

专家们从2000年至2022年间的IMO竞赛题中,选出了30道,组成了IMO-AG-30基准测试集,然后在限定的比赛时间内,让「选手」们展开对决。

对决结果是,谷歌DeepMind的AlphaGeometry,已经接近了IMO金牌选手的水平。

人类金牌选手平均能解出25.9道题,而AlphaGeometry能解出25道,可以说已经无限逼近人类。

而此前的SOTA AI系统「吴氏方法」,仅能解出10道题。

除了吴氏方法,在AlphaGeometry与其他最先进的方法比较中,30道IMO试题,GPT-4一道也不会做,直接得了0分!

要知道,以前的AI智能体在处理复杂的数学问题时,时常受困于推理能力不足,以及训练数据的缺乏。

但AlphaGeometry的不同之处在于,它结合了结合了神经语言模型的预测力,和基于规则的推理引擎,让这两个系统协同作业,从而寻找解决方案。

研究者还开发了一种方法,可以生成大量的合成训练数据——高达1亿个独特样本。

这样,就可以在有效解决数据不足的问题,在不依赖人类示范的情况下训练AlphaGeometry。

通过AlphaGeometry,我们可以看出AI在逻辑推理、发现和验证新知识方面的能力,在不断增强。

今天,AI已经可以做出奥林匹克级别的几何题,再过一段时间,可能就会出现更高级、更通用的AI系统,直至某天出现AGI。

现在,谷歌DeepMind已经把AlphaGeometry的代码和模型开源,希望它们能和其他合成数据生成和训练的工具一起,为数学、科学和AI领域带来新的机遇。

                                   项目地址:https://github.com/google-deepmind/alphageometry

几何证明双重buff:大模型+符号推理引擎

具体来说,AlphaGeometry是由2个主要组件构成的神经符号系统(neuro-symbolic system):

1. 神经语言模型

2. 符号推理引擎

这个AI系统便是通过以上两个部分协同工作,实现复杂的几何定理证明。

谷歌DeepMind团队在此引用了「思考:快与慢」这本书中的理念。

「这有点像我们的『直觉思维』和『逻辑思维』:一个系统提供快速,基于直觉的想法,而另一个系统则进行更为缜密、基于逻辑的决策」。

这里,神经语言模型就是「系统1」,擅长发现数据中的普遍模式和关系,能够迅速预见到可能有帮助的几何构造。

然而,它们往往不擅长严密的推理,也不能解释自己的决策过程。

符号推理引擎则不同,可以看作是「系统2」。

它们基于形式逻辑(formal logic),按照明确的规则得出结论,这些结论既合乎逻辑又能解释清楚。

不过,符号推理引擎在解决大型、复杂问题,可能会显得「缓慢」且不够灵活。

AlphaGeometry在解决一个简单问题时的过程:首先,给定问题及其定理假设(左图),AlphaGeometry(中图)利用其符号引擎对图形进行逻辑推理,从而推导出新的结论,直至找到答案或无法进一步推导。如果答案未找到,AlphaGeometry的语言模型就会引入一个潜在有助于解题的新图形元素(以蓝色表示),为符号引擎提供新的推理途径。这个过程会不断重复,直到找到问题的解决方案(右图)。在这个示例中,仅需加入一个新的图形元素。

AlphaGeometry语言模型的作用就在于,指引符号推理引擎寻找解决几何问题的可能路径。

一般来说,IMO级别的几何题往往基于图表,需要在图表中添加新的几何元素,比如点、线或圆,才能找到解答。

AlphaGeometry的语言模型能够预测,在无限可能中哪些新元素最有助于解题。这些提示有助于补全信息的空缺,使得符号引擎能够对图表做出更多推断,并逐步逼近正确答案。

举个栗子,AlphaGeometry解决了2015年国际数学奥林匹克竞赛第三题(如下),右边是解题过程的精华部分。

整个解题的过程,共计109步逻辑推理。

                                                         图中的蓝色部分表示新增加的图形元素

此外,谷歌团队还让AlphaGeometry去解决IMO 2005的P3,共用了110步完成。

完整解题步骤:https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphageometry-an-olympiad-level-ai-system-for-geometry%20/AlphaGeometry%20solution.pdf

1亿个合成数据,从0训练AI

AlphaGeometry解决数学的能力如此强悍,而更让人震惊的是:仅用合成数据从0开始完成训练。

正如谷歌DeepMind所言,因为缺乏训练数据,AI系统一直难以解决棘手的几何问题。

对此,研究人员采用了「合成数据」的技术,模拟知识积累过程,无需任何人类演示教学,从0基础开始训练AlphaGeometry。

如下图所示,便是通过合成数据生成的随机图形的部分示例。

谷歌使用了10万个CPU,最初生成了10亿个几何对象的随机图,并对每个图表中的点和线条之间的所有关系进行了全面的推导(运行符号演算和回溯过程用了3-4天)。

                                                            AlphaGeometry合成数据生成过程

AlphaGeometry不仅找到了每个图表中的所有证明,还逆向追溯,确定为了得出这些证明需要增加哪些图形构造。

研究人员将这个过程称为「符号演绎与追溯」。

                                                         AlphaGeometry生成合成数据的可视化

在这庞大的数据集中经过筛选,剔除重复的样本,最终获得了1亿个涵盖不同难度级别的独特训练样本的数据集。

其中,还包含了900万个附加构造的样本。

AlphaGeometry的语言模型通过分析这些构造,如何帮助完成证明的众多案例,能够在处理奥林匹克级几何题时,提供有效建议,设计出新的几何构造。

                                                                      对生成的合成数据的分析

IMO金牌得主盛赞,AI开创数学推理先河

AlphaGeometry针对IMO赛题给出的解答,都通过了计算机验证。

谷歌DeepMind将成果与先前的AI方法,以及奥林匹克竞赛中的人类选手表现进行了比较。

                                           AlphaGeometry证明步与IMO参与者在不同问题上的平均得分

值得一提的是,他们还请来数学教练及IMO金牌得主Evan Chen评审了AlphaGeometry的部分解答。

AlphaGeometry的输出结果令人称赞,它不仅可以经得起验证,而且表述清晰。以前的AI在解决证明类竞赛题目时,其解答有时候不够可靠(输出结果时对时错,需要人类进行核查)。AlphaGeometry不会出现这样的问题:它的解答具备可由机器验证的结构。

即使如此,它的输出也便于人类理解。原本可以设想的是,一款计算机程序通过暴力破解坐标系统来解决几何题目,那将是一连串枯燥的代数运算。但AlphaGeometry并非如此,它采用的是学生们所学的传统几何规则,包括角度和相似三角形的知识。

每场IMO竞赛中,共有6道题目,通常只有2道与几何有关。

因此,AlphaGeometry只能在大约三分之一的奥赛题目中发挥作用。

尽管如此,它在几何领域的能力,已足以让它成为「世界上首个通过2000年和2015年国际数学奥林匹克铜牌标准的AI模型」。

在几何题解决方面,AlphaGeometry已经接近IMO金牌选手的水平。

谷歌DeepMind称自己的野心不止于此,还希望推动下一代AI系统在推理方面的发展。

从0开始,利用大规模合成数据对AI系统进行训练,这种方法有望影响未来AI系统在数学和其他领域的新知识发现范式。

其实,在构造出AlphaGeometry系统之前,谷歌DeepMind和Google Research在AI数学推理上,做了大量的奠基性工作。

此前,谷歌DeepMind就曾推出FunSearch,打破了LLM首次在数学领域未解之谜上取得发现的纪录。

而谷歌DeepMind的长期目标,就是打造能跨越不同数学领域、具备解决复杂问题、能够进行高级推理的AI系统,直到实现AGI。

网友:AGI 奇点临近

AlphaGeometry诞生,堪比AlphaFold、AlphaCode等「阿尔法家族」面世在AI领域掀起的巨震。

与此同时,「合成数据」的重要性和潜力也愈加凸显。

Google DeepMind联合创始人兼首席AGI科学家Shane Legg称,「我还依稀记得1990年Christchurch的New Zealand IMO训练营里试图解决疯狂的几何难题,现在看到人工智能在这方面变得如此出色,我有点震惊!AGI越来越近了」。

昨天,UCLA博士生Pan Lu关于数学推理基准MathVista研究被ICLR 2024接收为Oral论文。

在看到谷歌最新研究后,他表示,「2021年,我们探索了几何学的早期研究:我们的InterGPS,一个神经符号求解器,第一次达到了人类的平均水平。现在,AlphaGeometry标志着历史性的突破:获得了奥林匹克级别的技能!」

有网友表示,这简直就是一个大事件。数学推理可以延伸到物理学,物理学也可以延伸到化学和生物学。未来几年,人工智能可能会主导研究。奇点正在逼近。

大多数在职的数学家都无法做到这一点,尤其是在规定的时间内。仅用合成数据进行训练,表明数学没有数据瓶颈。因为我们可以轻松地生成无限高质量的合成数据。

英伟达机器学习科学家Shengyang Sun好奇地问,「这些合成问题会在IMO 2024出现吗」?

CMU机器学习博士Jing Yu Koh表示,「2024年是合成数据年!我非常喜欢几何领域,因为你有办法将其与现实世界相结合,以确保合成数据的有效性」。

参考资料:

https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/

https://www.nature.com/articles/s41586-023-06747-5

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn