让机器人看清墙壁不难，然而一旦遇到镜子、玻璃或金属，很多 3D 传感器就“不灵”了。

为了解决上述问题，美国亚利桑那大学与莱斯大学、西北大学联合团队开发了一种新型 3D 传感器，他们将整个环境变成“虚拟屏幕”，通过事件相机和扫描激光，可在 70 毫秒内同时重建出漫反射和镜面反射物体的三维形状，精度控制达亚毫米级。

这项技术的创新在于，不用提前分物体材质、不用外置标定屏、靠环境本身就能进行混合反光场景 3D 建模。不仅有望在玻璃、金属、塑料、布料混杂的场景中应用，例如自动驾驶、手术机器人、工业检测和生物医学成像等领域，还未来还有望延展到更广泛的领域，例如从手术中测量血管到数字化整个房间或建筑物。相关论文发表在 Nature Communications[1]。

图丨相关论文（来源：Nature Communications）

如何同时看清镜子和墙面？这个问题对于人眼来说似乎是一件很自然的事：眼睛与大脑实时构建出动态场景的三维精确图像，再不断计算各种形状、大小和表面的物体之间的距离。

然而，这却是光学三维测量领域长期以来的难题之一，镜子、玻璃、抛光金属等高反射表面，与墙面这类漫反射表面的成像机制截然不同，前者以镜面反射为主，后者则以漫散射为主。大多数先进的 3D 传感器都针对漫反射（哑光）或镜面反射（高光）表面进行优化，但往往只能在两种情景中“二选一”。

图丨采用新型传感器技术对混合反射场景进行三维扫描的示意图（来源：Nature Communications）

然而，现实世界的场景中存在着介于这两种极端情况之间的各种表面反射率。对机器人手术应用来说，也迫切需要可精确测量表面的三维传感技术，其难度在于手术部位环境复杂，通常包含液体和湿润的组织，以及皮肤等分散的表面。

而在整车漆面检测这类工业场景下，传统方案可能需要搭建可容纳整台车的隧道式大型幕布装置。而且，这类硬件方案局限性同样明显，不仅造价高昂、难以移动，应用场景也十分受限。

该团队的理念建立在成熟的技术偏折测量法之上，后者通过观察屏幕上的图案在反射面的形变来测量镜面形状。然而，要用偏折测量法测量高度复杂的形状，通常需要大型屏幕才能覆盖较大的表面方向角度范围。

研究人员通过一种巧妙的测量构建了新系统：他们放弃了使用大型屏幕，而是利用房间内需要测量的镜面物体，将整个周围环境变成一个“虚拟屏幕”。

研究人员并未采用逐帧捕捉整个场景的传统相机，而是使用了一种神经形态事件相机，它仅以极高的时间分辨率捕捉测量过程中的关键部分，其能够以高帧率拍摄包含运动物体的混合反射场景的 3D 视频。

（来源：Nature Communications）

具体而言，他们用事件相机配合双轴扫描激光投影仪，先对场景进行快速扫描。等激光扫过漫反射表面时，光线向四面八方散射，事件相机则异步捕捉亮度变化信号，利用三角测量重建出漫反射物体的三维形状。该研究的创新之处在于，系统会将这些被重建出来的漫反射表面，识别成“虚拟屏幕”，再用它来测量场景中的镜面物体。

“我们可以使用激光扫描仪捕捉房间内的所有物体，包括镜面、光泽和哑光表面的物体以及哑光墙面。然后，使用算法将漫反射表面与镜面反射表面分离，最终将所有测量到的漫反射场景部分用作虚拟屏幕，用于对镜面反射部分进行偏折测量，”该论文第一作者、莱斯大学博士生 Aniket Dashpute 说道。

激光从墙面某点反射后，经镜面再次反射进入相机这条两次反射的光路被系统识别为间接反射事件，与直接反射事件通过极线几何约束分离开。镜面表面的法向量可由入射光线与反射光线之间的几何关系求解，然后基于迭代优化算法从法向量场恢复出深度图。

图丨实验室中的原型机（来源：Nature Communications）

值得关注的是，在场景内漫反射表面，一块普通的纸板、一堵墙、甚至一个雕塑的背面，都可以充当偏折测量的光源，整个过程不需要任何额外的硬件。

在实际实验中，这套系统表现出强适应能力。以一块纯白色的平板为参照，在漫反射场景下，该系统可在 4 毫秒内完成一次扫描，对应 250 赫兹的帧率，重建误差约 210 微米。

对于混合了漫反射大卫雕像、镜面气球和金属锁扣的复杂场景，系统扫描时间 70 毫秒，约每秒 14 帧。从实现效果来看，仍然可以清晰地捕捉到气球的旋转和纸巾被快速抽走的动作。

在定量测试实验中，漫反射球的精度约 310 微米，镜面球的精度为 450 微米。相比之下，使用事件相机的现有方法在同等条件下的深度误差高达 6 毫米。而英特尔 RealSense 和微软 Kinect v2 等商用产品，面对镜面容易出现数据缺失或直接给出错误深度的问题。

总体来看，这项研究展示了一条新的路径：通过不同反射类型之间的信息互补，粗糙的表面可以作为光滑表面的参照物，从而让事件相机的高速和高动态范围来弥补激光扫描稀疏带来的信息缺口。

参考资料：

1.Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

2.https://techxplore.com/news/2026-05-virtual-screen-machines-3d.html

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成