在自动驾驶领域，实现高质量的虚拟传感器输出是一项关键的挑战。所有的架构和实现都会涉及来自质量、性能和功能集成等方面的需求。aiSim也不例外，因此我们会更加关注于多个因素的协调，其中，aiSim传感器实现的神经网络渲染仿真方案，在aiSim能够在现有功能上实现多用途扩展的同时，也可以尽可能地保留原始特性。

一、现有问题

从当前学术界对于神经渲染的研究来看，不同的方案都会给虚拟世界带来一定的限制，从而无法让仿真充分发挥作用。我们在aiSim中提供了一种不同且具有更高集成度的方案，即aiSim的通用高斯泼溅渲染器（General Gaussian Splatting Renderer），这一方案结合了渲染速度、集成灵活性和好的视觉保真效果，为当下的神经网络三维重建技术带来了新的内容。

其中一点就是传统方案中，广角镜头的渲染和处理总是不尽人意，但这一传感器又是自动驾驶仿真中最为常见的用例之一，但在aiSim的方案中我们克服了这一局限性。

二、康谋方案

原始的算法在高斯泼溅投射的处理过程中往往会引入若干限制，阻碍了传感器的合理渲染，主要源于是近似误差（approximation error），当处理FOV更大的镜头时，误差会显著增大。

左边是原始解决方案，它无法从六个摄像头中一致地生成图像。右边是aiSim的解决方案，它消除了这个问题，并能投射出一致的图像。

这种方案不仅能够处理相机传感器，还能够处理其他基于光线追踪的传感器类型，比如LiDAR和Radar。而在之前的ADAS/AD仿真中，无法扩展到不同传感器模式则是大多数神经渲染解决方案面临的最大挑战之一。

为此，我们重现思考了高斯泼溅解决方案，重建算法流程，通过新一套的高斯泼溅渲染器很好解决了前述的限制，较好的组合了各种虚拟镜头组合的畸变图像。

1、aiSim通用高斯泼溅渲染器

（1）一致性

aiSim通用高斯溅射渲染器和现有光栅化解决方案具有相当的性能水平，即使在硬件在环方案中，也可以模拟（4K）多摄像头传感器设置。由于该算法的通用性，您可以从基于光线追踪的传感器模式（如LiDAR和雷达）中一致地获得相同结果。

这意味着您无需牺牲运行性能，因为渲染器可以保持足够快的速度以实时帧率工作。

（2）自由视角

此外，aiSim通用高斯泼溅渲染器还允许您在模拟场景中自由移动摄像头，并使用不同的位置或传感器设置，且不会产生不可预测的伪影或故障。它使您能够近距离亲自查看各种物体表面的复杂细节。由于该算法可用于物理模拟甚至表面重建，因此其应用范围可以进一步扩大。

（3）完善的前置工作

以上的关键在于我们预先结构良好的数据采集和灵活的渲染方案位为所有物理级传感器的仿真提供了坚实的基础。

期待您继续关注康谋之后的文章，我们将分享更多有关aiSim的方案内容。