2月3日,云天励飞举办“大算力芯片战略前瞻会”,首次对外公布未来三年的大算力AI推理芯片战略布局。云天励飞提出“训练追赶、推理超车”的战略方向,并发布了基于“PD分离”思路的芯片路线图:力争实现百万Tokens推理成本降低100倍以上的目标,推动AI从技术尝鲜走向普惠生产力。

云天励飞董事长兼CEO陈宁指出,训练芯片与推理芯片在算力需求上存在显著差异。训练芯片更侧重“绝对值”,对算力规模、带宽能力以及科学计算的复杂精度要求更高,且对成本相对不敏感;推理芯片的核心考量则在于成本、效率与市场经济学,关键在于每一个Token背后的边际成本与整体性价比。
陈宁表示,公司致力于持续降低百万Token的成本,目标是通过下一代芯片实现“百万Tokens一分钱”。未来三年,公司希望将成本进一步降至“百万Tokens 0.1分钱”,以加速大模型应用的规模化落地。
对于未来五年的中国芯片产业发展,陈宁提出“训练追赶、推理超车”的策略:在训练芯片领域,目标是持续追赶,尽量保持差距不被拉大;而在推理芯片领域,依托中国丰富的应用场景、强大的基础设施能力以及开源模型生态,有机会实现突破与超车。
针对大模型时代云推理场景的需求,云天励飞CTO李爱军在会上介绍了公司的技术解构与路线图。他表示,云天励飞将全力投入云推理场景的大算力芯片研发,基于对大模型推理计算特征的理解,按照“PD分离”的系统架构规划两类大算力芯片:
P芯片(Prefill):面向计算密集型需求设计,满足Prefill阶段的高算力要求;
D芯片(Decode):面向访存密集型需求设计,满足Decode阶段的高带宽需求。
李爱军介绍,公司在芯片微架构层面针对Attention及AFN等计算特点进行细粒度分析,并在底层实现针对性优化。在一个包含1024颗芯片的超节点内,P芯片与D芯片可实现有效组合,以满足大模型云推理的集群化部署需求。
未来三年,云天励飞规划了三代芯片产品:
今年(第一年):打造第一代超节点P芯片,面向百万级长上下文场景进行Prefill推理优化,算力水平对标Hopper架构;
明年(第二年):研发第一代超节点D芯片,聚焦Decode推理的低时延目标,算力水平对标Blackwell架构;
2028年(第三年):推出第二代超节点D芯片,面向毫秒级推理时延目标进一步优化,带动Prefill与Decode性能提升,算力层面有望看齐下一代Rubin芯片。
南方+记者 郜小平