田渊栋:关于GPT-4的一些感想

2023-03-25 14:48 370 阅读 ID:905
新智元
新智元

OpenAI昨天发布了GPT-4,试用了一下确实很不错。

在我主要关心的故事生成方面,与ChatGPT生成出来的故事相比,GPT-4文笔更佳细节更多,更擅长生动具体的描绘,情节也开始出现一些有趣的转折。当然,ChatGPT有的问题,比如说缺乏整体布局谋篇能力,角色不突出,叙事展开比较无聊,续写段落会很快归于一个平庸的结尾等等,在GPT-4上面仍然存在。

从它的性能报告上来看,与GRE verbal接近满分相比,GRE写作只有4分,大学预修英语写作也只有2分(3分及格),而且从GPT-3到4没有进步,不知道是不是和这些问题有关联。

但不管怎么说,GPT-4已经能帮我们干很多日常工作了。自从2013年深度学习开始爆发以来,仅仅过了十年,我们就有了如此强力的工具,其进化速度可以说是超出想象。

2017年我在为什么有些学数学的看不惯甚至鄙视 Deep Learning?这个回答里面写了一些大胆的猜测,比如说“漫漫长夜里瞎摸,太阳还没有露头”,现在看起来这些预测还是大体正确的,只是想不到,这一天会那么快到来。

一个技术,一旦变成像微积分一样的通用工具,那接下来带来的巨大变革,是可以预期的。

如果再把眼光放得长远些,将来会发生什么事呢?

我在2020年左右也有一些思考,放在自己的科幻小说里了。总的来说,如果这样的趋势发展到极致,再加上连实物产品的制造都可以就地取材完全自动化,那最后的结果就是「所思即所得」:只要能构思出一个东西,它就会以极低的成本出现在自己的面前。

大部分重复性劳动,只要可以被机器无限制复制,其价值就会降到近乎为零,成为和水和空气一样无所不在的公共品。

在这种条件下,「独一无二」就会成为大家所珍视的价值和意义。也许以后,判断人才的主要因素,不再是完成学位,考试过关,而是看个人的经历和成就。

「同样的目标下比别人做得更好」是一种独一无二,「去往从未有人去过的方向」也是一种独一无二。这不仅包括同行认可的学术成就,比如解开无人能解的难题,开创并探索一个新的学术方向,更包括独一无二的经验、见解、思考方式,乃至三观,比如说一个拄着拐杖徒步探险过南极的程序员,他/她对这个世界会有什么样的观点,见解和感悟?一个曾自制火箭去往月球但中途失控,又奇迹被救的历史系学生,将在自传里如何讲述这段经历?

这些与个人特质紧密结合的话语权,会让每个人都能占据人类社会中的一个独特生态位,成为「人之为人」最终的定海神针。即便是将来意识能够上传,数字孪生能够实现,这种独特人格仍然是无法复制的——完全相同的个体,只要变成了两个并开始各自接受不同的外界信号刺激,他们内部的状态就会因更新而不同,轨迹就会开始分叉,从而再次变得独一无二。

总的来说,每个人都通过自身的「道」来证明自己的选择,又因为过去的选择,来累计自己独一无二的特质。无法预先判断谁比谁更优秀,因为计算这个判定函数本身,就需要个体践行自己的道路。而无数的,坚持各自方向的人聚在一起,就会不断涌现出各种奇妙的想法,有一些被实践证明正确的,就会影响到他人并且吸引到追随者。而包含这些所有个体的,一个多元包容的世界,就会充满前进的动力。

扯远了。

对于研究者们而言,GPT-4的出现意味着什么呢?

我们有两种极端的选择,其一是关起门来,不听不看,沿用旧的思维惯性去构思研究路线,继续发表下一篇文章;也可以从此百分百抛弃以前的研究思路,撕掉所有课本,相信算力为王,大模型大数据就是一切。

我觉得这两种态度都不可取。研究的范式要有变化,不再是发现特定的知识,而是研究模型学习的机制,寻求其学习能力的本源。比如说通过海量的数据训练,现有的模型可以自动学会很多概念。

但模型是如何学会这个概念的,为什么大模型会学得更快更好,它怎样从数据中被发现,被模型抓住并且在训练中不断被强化?高级的概念是如何形成的?现有的模型如何抓住这些概念,以什么样的机制抓住它们?我觉得这些可能是在长远上来看,真正有意义的基础研究方向,也是把”人工智能“这个玄学,真正转化成科学的最终出口。

当然了,这些应该说是几十年的尺度上看的,要做这些研究,需要大量的基础知识,充足的耐心,擅长接受超出自己认知范围内的新生事物,又能把它融入原本的工作流和研究思路中去。

这可以算是自己在研究上独一无二的「定海神针」吧,希望能够继续走下去。

参考资料:https://zhuanlan.zhihu.com/p/614458786

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn