算力管理复杂、训练成本过高,专家谈AI困境如何破解
创始人
2024-06-30 03:25:35
0

中新网6月29日电(中新财经记者 吴涛)“大模型的高速发展使得AI不得不面临算力管理复杂、训练推理成本高、任务调度难等多方面发展瓶颈。”

发布会现场。供图

近日,在蚂蚁数科举行的一场发布会上,中国信息通信研究院云大所副所长栗蔚指出,云原生凭借其高可用、弹性、可扩展等优势成为突破AI困境的关键,云原生PaaS平台的大模型产品工具链不断完善,将加速大模型技术在行业应用中落地。

栗蔚表示,根据调研,云原生除了作用于AI之外,之前它作用于很多互联网应用的研发,超过一半中国企业大部分互联网化应用程序都是云原生的架构,甚至传统的核心架构现在也都在云化。

据介绍,在AI时代,因为大模型对算力需求很大,GPT3.5的时候是1750亿参数,需要500个英伟达的卡,到了GPT5是10万亿的参数,需要50万张英伟达的卡。这种情况下,云将发挥出新的关键作用。

“50万张英伟达卡计算是不可能在一个数据中心完成的,所以很多大模型计算跨域不可避免,但跨域以后对方是英伟达的卡吗?或者智算底层基础设施都不一定。这种情况下,我们需要什么?中间谁能把应用部署在算力上跑起来呢?”

栗蔚给出答案,她认为,就是云,AI时代几个发展瓶颈问题基本都是要靠云原生满足的。云原生屏蔽了底层算力的差异,其应用不在乎你底下是CPU还是GPU,还是用了什么样的规格的卡,我只是将应用部署在上面,用你的计算能力,所以云原生发挥了这样的作用。

“很多企业通过用了云原生,对于底下上千台服务器进行统一的纳管,从而全方位提升效率和降低成本。”栗蔚强调,云跟AI结合才能充分降低AI的工程化成本,让AI大模型真实地跑起来变成服务。(完)

相关内容

热门资讯

无人机助力缅甸地震救援 中国救...   中国日报网4月2日电 当地时间3月28日,缅甸发生7.9级地震,多座建筑倒塌,曼德勒等城市成为重...
寻迹中国|外国博主走进河池 体...   河池市是广西最大的茧丝绸主产区,也是我国优质茧丝生产基地。从“东桑西移”到“东绸西移”,近年来,...
东帝汶留学生感受“舌尖上的河西...   来自东帝汶的留学生杰克拉已经在甘肃省张掖市河西学院留学一年,活泼开朗的她对于中国美食一直十分向往...
美国加征关税 全球一片反对   美国白宫计划4月2日宣布对贸易伙伴征收“对等关税”的措施。这被认为是美国本届政府影响范围最广、冲...
美国“关税讹诈”破坏世界经济稳...   美国利用关税手段在全球范围内进行讹诈,已成为世界经济最大的不稳定和不确定因素。面对美国人为制造的...
特朗普关税乱拳开打 为何美国自...   当地时间4月2日,美国总统特朗普在白宫宣布对贸易伙伴征收所谓的“对等关税”措施。此外,特朗普当日...
美国对进口汽车加征25%关税正...   新华社华盛顿4月3日电(记者熊茂伶)美国总统特朗普此前宣布的对进口汽车加征25%关税的措施3日正...
缅甸强震后已发生63次余震   新华社缅甸曼德勒4月3日电(记者张东强)缅甸气象和水文局3日发布报告说,截至当地时间3日8时30...
缅甸强震已致3085人死亡   新华社快讯:缅甸国家管理委员会新闻信息小组发布消息说,截至当地时间4月3日上午8时,缅甸强震已致...
华为、腾讯、招商局....大湾...   从“孔雀东南飞”到“百万英才汇南粤”  今天的广东  比以往任何时候都更加  重视人才、渴求人才...