大规模全光生成式 AI 芯片首次实现！

当前的大规模生成式 AI 在生成图像或视频时，往往速度慢、耗电大、成本高，限制了生成模型在端侧和实时场景的应用。

上海交通大学集成电路学院图像通信所团队开发了全光计算芯片 LightGen，突破性地实现了对大规模语义媒体生成模型的支持。

其能够完成高分辨率（≥512×512）图像语义生成、3D 生成（NeRF）、高清视频生成及语义调控。与此同时，还支持多项大规模生成式任务，包括去噪、局部与全局特征迁移等。

值得关注的是，在取得和前沿电子神经网络相仿生成质量的同时，采用较滞后性能的输入设备条件下，LightGen 同时将算力与能效相较顶尖数字芯片提升 2 个数量级，让生成式任务的实时生成交互成为可能。

未来，在采用前沿设备使得信号输入频率不是瓶颈的情况下，LightGen 理论算力相较顶尖数字芯片能提升 7 个数量级。

（来源：陈一彤）

LightGen 为解决生成式 AI 部署落地的算力缺口提供了一种新方法，在不影响性能的前提下，实现了更高的速度和能效，助力推动新一代算力芯片在人工智能领域应用。

审稿人对该研究评价称：“这项工作意义重大，代表着光子计算领域的一个新里程碑，因为它首次实现了基于光学芯片的真正生成式人工智能，而这在此之前尚未实现过。”

近日，相关论文以《大规模智能语义视觉生成全光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）为题发表在 Science[1]。上海交通大学陈一彤助理教授担任第一作者及通讯作者。

图丨相关论文（来源：Science）

在传统的电子芯片中，信息的载体是电子，主要靠晶体管的开关切换完成计算。然而，当规模越来越大，系统会被晶体管开关频繁翻转带来的功耗、延迟、发热等问题拖累。

光计算芯片的不同之处在于信息被编码到光上，通过光场的变化完成计算，光场在传播过程中把大量的运算并行计算出来。可以类比为，电芯片就像是铜线电话传消息，以电为载体；而光计算芯片则像是光纤宽带，常具有速度更快、能耗更低的优势。

图丨大规模全光生成计算芯片 LightGen（来源：Science）

据悉，早在 2019 年，陈一彤就开始思考如何全光实现生成式模型，并在后来发表了 Science Advances 认证的国际首个全光生成式网络[2]。思考这个想法时，当前流行的生成式模型尚未大幅度走入公众视野，也还未引起广泛的关注度。

当下，生成式模型在全球带来变革性影响的同时，陈一彤课题组也攻克了百万级光学神经元全光芯片片上集成、全光维度变换和无真值训练算法等一系列问题，最终两股进步力量融合促进了 LightGen 芯片的诞生。

图丨LightGen 生成的采样图像示例（来源：Science）

其中，百万级神经元为生成任务需要庞大的神经元规模问题提供了方案；全光维度转换则面向生成式任务对维度变换的需求，解决了模拟光信号维度难以定义更遑论全光超高速转换的问题；而无预定义真值训练算法则让生成式任务没有标准答案的情况下，光子芯片如何训练的问题得以解决。

将三者结合，才把光计算从以往主要擅长决策任务推进到可以比肩数字模型的语义生成。

论文指出，LightGen 实现了百万级光学神经元的集成和大尺寸的输入输出，这并非简单地重复小规模的光子芯片，而是对语义生成至关重要的质的飞跃。

需要了解的是，LightGen 并不是电辅助光做生成，而是让全光芯片完整实现一种“输入-理解-操控-生成”的闭环。研究团队认为，LightGen 有望在内容生产流程中率先实现商业化，如实时预览、极速出图等最“吃”算力且又最需要实时反馈的环节。

图丨陈一彤（来源：陈一彤）

“LightGen 可以让创作者获得‘所见即所得’的预览速度，帮创作者把渲染生成迭代从单次数小时压缩到数秒甚至亚秒级，提高生产效率。”研究团队告诉 DeepTech。

未来，LightGen 从实验室走向可用的技术产品，还需要解决制定标准化工艺流程、量产测试标准等系列工程问题。据悉，研究团队已与产业方展开密切合作。

参考资料：

1.https://www.science.org/doi/10.1126/science.adv7434

2.https://www.science.org/doi/10.1126/sciadv.adf8437

运营/排版：何晨龙