出品|搜狐科技
编辑|汉雨棣
(资料图片仅供参考)
9月7日晚的外滩大会上,蚂蚁集团副总裁、蚂蚁集团基础大模型负责人徐鹏在与搜狐科技等媒体对话时提出,大模型为行业带来的革新在短期内很容易被高估,但其长期效应又可能被低估。
徐鹏预测,开源生态是大模型的未来趋势。开源大模型的发展给应用的更新提供了更便利的技术支持,反之,应用的创新也可以倒逼大模型的进步。
徐鹏同时从应用方的视角对算力与硬件进行了分析。他表示英伟达并非不可替代,蚂蚁进行硬件采购主要考虑的是性价比与是否能被购买到。
以下为访谈实录,经编辑。
媒体:大家从哪些维度判断使A公司和B公司大模型的发展有雷同?如果说中国的企业里面做了很多雷同的大模型,美国那么多公司是不是也处于这样的阶段做重复的?中美之间大模型技术的差距是拉大还是在缩小?
徐鹏:雷同这个事情要分开看。不管是中国还是美国,实际上是有不少大模型出来,技术上面没有本质的区别,但是侧重点不一样,像Llama就是做一个通用的技术模型开源出去都可以获益,GPT本身是闭源的,主要是做Chat GPT对话能力,在对齐方面要做的很好,上下文长度可以做的很长,每个既有雷同的地方又有自己的特色在里面。
中国还处于追赶的阶段,很多东西在这个方面也是投入比较大,比如说百度、腾讯、阿里等等这些都是在这些方面先做到一个跟GPT做到类似的水平,但是我相信在这之后可以有很多创新的点,可以做到不一样的东西,只是现在这个阶段还是处在追齐GPT能力的阶段。
媒体:目前的大模型相似之处有哪些是必要的吗?可以通过哪些思路去创新,或者去拉开差异?
徐鹏:现在因为开源的发展,尤其是LIama和Llama2,以及国内也有一些开源模型,给大家带来了创新上面的一些便利,它的应用可以做得更容易一些,不用从头开始浪费大量的财力去训练基础的模型。如果大家都把力量放在大模型应用的创新上面,我觉得是会反过来让我们看到大模型还有什么做得不到位的地方,反而能促进大模型技术的发展。
媒体:怎么看开源闭源这样的生态,大模型在哪一种生态里面发展的更好一点?
徐鹏:我觉得开源肯定是趋势,是未来。因为从操作系统发展的历史上可以看出来,早期windows是闭源的,但是linux是开源的,linux是越来越多的被采纳,甚至是后边都被苹果采纳,所以后来发展就证明windows也开源了,所以我觉得各自都有各自发展的周期,但是最终像这样的非常基础底层的东西应该还是开源。
媒体:(大模型创业方面)越是大企业越有优势,而中小型的初创企业就越来越被挤压掉?
徐鹏:刚才我们提到开源的模型,现在越来越多,质量也越来越好,实际上对小公司是非常有利的,不用浪费大量的资源训练它,只是要找到一个比较好的应用,如果能找到真正能给你带来商业价值的应用,那你就可以更快的,可能比大公司在这方面更快的转身,更快的做出来商业价值,这样的话对小公司来说也是更有一个自己存活的空间。
媒体:目前的发展而言两位觉得未来这种国民级的爆款,或者是有突破性的应用可能会出现在哪些领域?是像妙鸭那样的吗?还是某一些更实用的产品出现?
徐鹏:出现爆款这件事情对AI来说,我自己的感觉还是可遇不可求的东西。所谓的爆款就像ChatGPT这样的爆款,实际上也会有一定的审美疲劳,包括像其它的一些短时间突然之间冲上很大用户量的产品能够维持,而且能够持续增长的其实是非常少的,我自己对于应用的发展我自己是持着“润物细无声”的感觉,真正好的东西一定会出现,但是有可能不会突然之间成为爆款,但是它的发展在擅长的领域里面一直在发展,一直带来一些改变,这些改变积累到一定程度之后会成为所谓的爆款。
我观察下来自己的感觉,微软去年和今年的发展实际上是非常令人赞叹的,因为他既有C端的用户,也有很强的B端的用户,他实际是在两条腿走路,而且他的B端在我看来是更成功的,微软云借着大模型的发展带来了非常可观的用户和收入增长,这一点非常难得。
媒体:在算力方面有感觉到紧缺吗?
徐鹏:我自己的感觉算力永远是紧缺的。大模型还有很多值得我们探索的东西。
Open AI可以通过数据量的变化看到模型效果的变化,但是数据配比的变化对模型到底带来多大的影响,那个要探索起来是更困难的事情,如果是有充足的算力肯定可以有更多这方面的探索可以做,能够做出来更多,指导以后开发更好大模型的工作,现在远远没有到那个时候,所以大模型算力现在还是紧缺的。
媒体:从算力资源紧俏的情况来看怎么看英伟达的不可替代性?从应用方的角度去采用这些硬件的话,会考虑哪些因素?
徐鹏:我没有觉得(英伟达)是有非常强的不可替代性,更多的还是一个效率的问题,但是你用其它的也可以做,所以并没有一个完全不可替代性。只是它发展最快最迅猛,因为他现在是马上开箱可用,而且效率毕竟在那里,其它的公司并不是说没有机会。英伟达有很强的软件优势,我觉得是其它公司现在也在追赶的,除了硬件本身的能力外,软件衔接的能力现在应该是努力追赶的。
从我们来看采购硬件,一个是性价比高,另外一个是能不能买到?这两个因素我觉得是影响我们去决策应该买哪些硬件,应该买多少。