近日，北京理工大学张军教授团队在《科学》(Science)期刊发表了题为“Hypervision: An on-chip hyperspectral microsystem for online video-rate computational imaging”的研究论文。该团队自主研发了一体化在线实时高光谱成像微系统“Hypervision”，成功实现了无需外部供电及算力集群的百万像素级实时在线高光谱感知，标志着光谱成像技术从传统的“离线后置处理”向“片上原位在线实时计算”迈出了关键一步。
高光谱成像技术能够同时获取目标的空间结构信息和数十至上百个波段的光谱信息，被誉为“光基因”和“光指纹”。然而，传统技术受限于海量三维空谱数据的巨大计算开销，难以满足现场实时解析的需求。针对这一难题，张军教授团队提出了类数据域并行计算方法，突破了传统冯·诺依曼串行指令模式的瓶颈。
在此基础上，团队自主研制了名为“HyperN”的神经网络处理单元（NPU）硬件加速器，该芯片在16位整数(INT16)精度下运算能力达到 9.3 tera operations per second。结合拓扑感知结构化剪枝策略，团队构建了轻量化AI光谱重建网络。最终集成的“Hypervision”微系统重量约为 950克，功耗仅约 25.3瓦，能效比达到 367 giga-operations per second per watt，其功耗较传统基于图形处理器(GPU)的方案降低了一个数量级。
在成像性能方面，该系统配合“HyperspecI”传感器，在可见光至近红外波段实现了视频级实时重建。具体而言，该系统在 512×512像素分辨率下支持 61个光谱通道，帧率达到 32.9 frames per second；在 1024×1024像素分辨率下支持 16个光谱通道，帧率为 24.6 frames per second。
研究团队在智能驾驶、烟雾监测以及无人机对地成像等复杂动态场景中，对“Hypervision”微系统进行了应用验证。结果表明，该系统具备稳健的实时感知性能，能够有效支撑需要即时决策的应用场景。
这一成果不仅推动了集成电路、微电子、计算机科学、光学工程与人工智能等多学科的深度交叉融合，也为智能驾驶、智慧农业、精准医疗等战略新兴领域提供了低功耗、可部署的高光谱计算解决方案，为我国光电信息领域的高水平科技自立自强提供了原创技术支撑。
作者：宋池
