OpenAI彻底用GPT-4带火自然语言大模型后,互联网科技行业的大头、小头都在推出自家的大模型或产品。一时间,生成式AI竞速赛上演,“吃瓜群众”也等着看谁能跑赢OpenAI。
【资料图】
坊间预测,干掉GPT-4的还得是GPT-5。结果,OpenAI的CEO Sam Altman一句话就浇灭了预期,“目前没在训练GPT-5。”按Altman的说法,GPT-4已经顶天了,“建更大的模型,喂更多的数据”这一策略已然失效,且硬件条件也到天花板了。
暂时无法训练新的大模型,OpenAI会搞什么新动作?招聘信息显示,这家独角兽公司正在转向移动端的开发,手机版的ChatGPT似乎在路上了。
从PC网页版到手机App,OpenAI的心机不小,挑战的难度也不低。
大语言模型的规模“正在接近极限”
“我们目前没有训练 GPT-5,也不会在短期内进行训练。”Sam Altman辟谣GPT-5的传闻发生在麻省理工学院举办的“The Future of Business with AI”论坛上,这位OpenAI的CEO回应《暂停AI巨型实验》的公开信时,做出了上述表态,这也是他首次正面回应这封信。
3月29日,包括特斯拉CEO埃隆·马斯克、苹果联合创始人Steve Wozniak、图灵奖得主Yoshua Bengio在内的数千名科技圈精英联署签名,呼吁在6个月内暂停开发比GPT-4更为强大的AI系统,以留出时间解决AI的安全与伦理问题,并建议在此期间能由AI实验室和独立专家共同开发出一套针对AI设计和开发的共享安全协议。
当时,OpenAI没有对此做出回应。直到4月12日,Altman在线上参与麻省理工学院的那场论坛时,被问到了这封公开信。
他对信的部分内容表示赞同,认为在AI开发中确实应该“谨慎行事并加强安全问题”,但也指出这封公开信“遗漏了技术细节”,无法让人们了解需要具体暂停的环节。他还披露,这封信最早的版本中称OpenAI正在训练GPT-5,“但我们现在并没有在训练,而且在一段时间内也不会训练。”
确实,“GPT-5已经在路上”的传闻最近愈演愈烈。
比如,某个颇为神秘的团队对GPT-5预测,GPT-5将在“可靠性、创造性和实行复杂任务方面”全面超越GPT-4。国内的社交媒体上还流传着“GPT-5已经爬完人类迄今为止的所有公开视频,并标注了视频中所有声光信息”的说法。
推特上,一位叫“Siqi Chen”的科技博主甚至给出了时间表,自称获知“GPT-5计划于今年12月完成培训,并且OpenAI期望它能实现AGI(通用人工智能)”,还在评论区中预测“达到AGI标准的GPT-5或许已经不需要写指令了,人们只需要给出最终目标就可以”。他的这份爆料获得了超过一百万的浏览。
人们对GPT-5的想象力越来越丰富,这也侧面反映出了用户对更强大的大模型的期待,但这一期待最终被Altman浇灭。
以GPT-4的开发为例,Altman试图说明OpenAI在研发过程中的谨慎和不易,“在完成 GPT-4的训练后,我们又过了6个多月才发布它,因为要花时间去研究模型的安全性,要外部审计,让外部成员深入了解系统正在发生的情况,并尽可能地减轻风险。”
有人怀疑,这是OpenAI在多国封禁和舆论压力下的“暂避风头”,Altman 则给出了完全是技术层面限制的无奈回答,他下了一个这样的论断:开发聊天机器人的研究策略已经失效,我们正处在“大模型时代的末期”。
Altman表示,OpenAI原本在执行“建更大的模型,喂更多的数据”这一策略,但大语言模型的规模可能正在接近极限,因为扩大模型规模的回报率正在下降;另外,“数据中心的数量和建造速度”也有上限。因此,GPT-4很可能是“大模型、大数据”策略下取得的最后一个重大进展了。
即便Altman可能会因考虑竞争而放大大语言模型的研发难度,但客观上的算力条件确实已经出现瓶颈,除了供AI计算使用的芯片供应紧张外,当前芯片的显示带宽也在限制着GPU服务器之间的数据传输能力,这都直接影响着大语言模型的训练效率。
OpenAI悄然招募移动端工程师
聊天机器人的进化暂时走到了头,不差钱又有着顶级研发能力的OpenAI接下来将在哪个方向发力?虽然官方没明说,但OpenAI的招聘信息中露出些许端倪。
在OpenAI官网的招聘页面中,“移动端项目经理”、“Android软件工程师”、“iOS软件工程师”等岗位需求悄然发布,这些岗位都与移动端相关,年薪在30万美元-50万美元之间。
比如,在“移动端项目经理”的招聘页面,OpenAI直接给出对人才的具体需求:
我们正在寻找一位经验丰富的项目经理,来帮助建立和领导ChatGPT的移动端团队。在这个职位上,你将建立并指导一支人员丰富、高水平的工程团队。这支团队将使用我们最先进的模型建立流畅且安全的移动端体验。你将与我们的产品、设计和研究团队以及更多的工程团队密切合作,一起为OpenAI的移动端开发奠定基础。
而在“Android软件工程师”和“iOS软件工程师”的岗位需求中,OpenAI需要能模型上设计和构建内部的“第一套iOS/安卓产品”,规划和部署这些产品所需的“移动平台基础设施。
早在今年2月,微软就宣布在必应搜索和Edge浏览器的移动端接入ChatGPT。从OpenAI的招聘信息看,他并不满足于和微软的App产品合作,而是想把将PC网页版的ChatGPT变成一款独立的手机App,让这个对话机器人满足移动互联网时代的用户需求。
目前,IOS的App Store和各种安卓商店上,都有很多写着“GPT”或“ChatGPT”字样的聊天机器人App,但这些都不是OpenAI官方发布的,基本属于调用GPT API后集成该模型有限功能的手机应用,还不能与网页版的ChatGPT同日而语。
当前,不论是海外的ChatGPT、Bard、New Bing,还是国内的文心一言、通义千问,五花八门的生成式AI产品均以网页端呈现。对于文字、图片的生成,大屏幕设备更有利于用户的工作场景,且网速较移动端更为稳定。
不过,考虑到几乎人人都有、时时使用的智能手机,生成式AI产品如果以移动端App的方式出现,无疑将大大增加受众规模和使用时长。想象一下,它几乎可以在你的手机上取代各种搜素软件和做图App了。
如果从大模型训练的人类反馈机制考虑,聊天机器人的移动端部署或将对产品背后的大模型训练有利,更多的自然语言语料“投喂”将让大模型更了解人类,从而训练出更符合人类思维的产品。
如此一想,OpenAI的移动端布局就不仅仅是产品形态的小改变了。
当然,生成式AI产品从网页版变成App,挑战也不小,尤其是用户体验层面。网页版的ChatGPT响应速度都时快时慢,还常常卡顿,甚至宕机,当5G时代的手机遇到生成式AI的App,想想都觉得“烧钱”,哪怕你负担得起流量费,耗电和手机发热都得给你劝退了。
现在,这些难题将首先留给OpenAI的移动端工程师们了。