开云体育
开云体育Transformer作者:DeepSeek才有搞头OpenAI指望不上了
大佬之所以这么说,是因为他觉得OpenAI等闭源厂商被商业化冲昏了头脑,没心思做基础研究。
为了填补这块空白,一路从Google到Adept再到Essential AI三次搬家的Vaswani,今年再度迎来巨大转折点——
可惜的是,老东家不太给力,各种条条框框把人束缚得动弹不得,这让Vaswani心灰意冷。
可惜好景不长,据BloomBerg报道,Vaswani在Adept与某位联合创始人爆发了一次严重冲突。
于是2022年底,他再次挥手告别,拉起新团队创立了Essential AI。
最开始,Essential AI还走的是务实派路线——主要业务就是帮企业做财务分析自动化。
要知道,对于一家原本服务于企业客户的初创公司来说,这可是一个风险性极高的Bet。
出乎意料的是,董事会和资方居然都在一定程度上对Vaswani表示了支持。
看来,三次迁居的努力没有白费,Vaswani终于如愿以偿,集结了一帮理念同频的大佬。
为商业化四处奔波的这么多年,与资本和客户打了无数次交道,Vaswani真的累了。
蓦然回首,在他的精神世界中,其实一直有一块能承载他一切美好期许的土地,这片伊甸园的名字叫做——开源。
在教育和医疗等领域,有真正的科学需要追求,我们不能让封闭的人工智能阻碍人类探索这些新方向。
是不是听着很耳熟,没错,Vaswani在与Economics Time的采访中直接承认了:
Vaswani认为,要想推动AI的边界绝不能靠OpenAI、Anthropic等依靠闭源模式盈利的独角兽。
在他的设想里,AI不该只服务于商业,而是要真正进入教育、医疗等关乎大众的场景,让普通人也能享受到技术红利。
比如,一个偏远地区的孩子也能用开源AI上到最好的课;一个小诊所也能借助开源工具做出最准确的诊断。
更重要的是,Vaswani可不光是喊口号,Essential在转型后的确下了不少真功夫。
简单来说,相较于用RL在后训练打补丁,他们在预训练中取得了突破,并且这个技术可能大幅降低训练成本。
有几家公司关闭了长期的研发工作,以便将所有资源用于商业化,这种现象在市场环境恶化时更加明显。
自Scaling Law迎来边际收益递减的拐点后,AI独角兽的产品化倾向已是众人皆知。
Anthropic做浏览器,OpenAI派出著名产品经理Kevin Weil…….各大模型厂商纷纷下场,亲自探索商业模式。
Scaling Law兴起后,暴力美学的砝码使得AI研究的天平从学术机构几乎完全向企业实验室倾斜。
因此,探索商业模式和利益最大化是闭源模型的最终归宿,这从一开始就注定了。
这种节奏很适合追热点,但科研不一样——要搞出突破性的成果,你得花几年甚至十几年死磕一个方向。
闭源公司虽手握顶级资源和技术成果,但为了维护投资人的利益,不得不把这些秘密藏起来,以阻碍竞争对手。
但如果有成千上万的研究者和开发者一起贡献代码,整个生态齐心协力,并行推进,也许能克服开源阵营资源匮乏的问题。
这是互联网时代很常见的一种商业模式,典型案例就是浏览器:Google搜索对用户完全免费,取得市场份额后依靠广告回血。
但如果有客户想用这个基座搭建自己的AI,可以向Essential AI购买训练数据和相关产品。
实际上,如果按照之前科技互联网的发展来看,开源通常是更赚钱的一方,毕竟构建起了一整个生态。
作为《Attention Is All You Need》论文的“一作”,他博士师承的两位导师,都是华人。
在2011年的南加州大学,有两名活跃在自然语言处理(NLP)前沿的教授——蒋伟(David Chiang)与黄亮(Liang Huang)。
蒋伟教授的学士和硕士均就读于哈佛大学,后到宾夕法尼亚大学攻读博士,他提出的分层短语翻译模型曾被Google Translate采用。
黄亮教授本科毕业于上海交通大学计算机系,同样是在宾夕法尼亚大学进修的PhD,主要研究方向是开发高效算法来加速NLP任务,Vaswani是他指导的第一名博士生。
怎么说呢,虽然Transformer八子里没有华人作者,但“功劳簿”里,也并非全然没有华人贡献。
这实际也是另一个维度的开源之力。AI也好、深度学习也好,之所以可以站上浪潮之巅,根本上就在于始终有一个持续交流、开放互助的生态环境。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。