非接触式短波红外成像用于闭眼下的动态快速瞳孔测量和凝视评估

本文要点：凝视方向（眼球运动）、瞳孔大小和瞳孔光反射 （PLR） 的评估对于神经学检查和神经科学研究至关重要，并且在重症监护到内分泌学和药物成瘾，再到心脏病学和精神病学等各种临床环境中，成为了强大的工具。然而，目前的床旁瞳孔测量通常是间歇性的、定性的、手动的，并且睁眼病例，限制了其在睡眠医学、麻醉和重症监护中的应用。本文将短波红外 （SWIR， 900-1700 nm） 成像与图像处理算法相结合，在闭上眼睑后进行快速 （~30 ms） 瞳孔测量和眼动追踪。43名健康志愿者参加了两项由可见光刺激或将眼球运动引导至屏幕目标的 PLR 实验。在一只眼睛闭上，另一只眼睛睁开的情况下同时进行成像，作为基本实况。使用量化瞳孔区域周围亮度变化的自定义方法或基于深度学习 U-NET 的程序进行数据分析。本文表明 SWIR 成像数据分析可以成功测量闭眼条件下刺激诱发的 PLR，揭示单个试验中的 PLR 事件和几乎所有个体受试者的显着 PLR，以及估计注视方向。基于神经网络的分析可以成功地使用闭眼 SWIR 数据来重建睁眼图像的估计值并评估瞳孔大小。

活体成像

图1. 睁眼和闭眼条件下的瞳孔光反射（PLR）评估

本文构建并验证了一个实验装置来评估 PLR（图1a、b）。该设置包括一个下巴托、一个用于电磁辐射的红外 （IR） LED 光源、摄像头和一个用于提供可见光刺激的计算机屏幕。使用这种成像设置，可以进行数小时的连续成像，因为照明的红外曝光水平符合安全准则，不会造成风险。为了引发 PLR，屏幕以大约 20 秒的间隔间歇性地呈现亮光刺激（持续时间 2 秒，眼睛附近 270 lux），首先，当被试将目光向前时，该系统可以在睁眼条件下可靠地捕捉 PLR，使用 SWIR 相机捕获的视频数据中成熟的运动估计算法 DLC 识别瞳孔边界（图1c）。接下来，本文开发了一种无需瞳孔分割即可工作的数据分析方法。基本原理是，瞳孔边界和周围虹膜之间的对比允许在睁眼条件下进行稳健的分割。然而，预计在闭眼条件下的后续成像不一定会在瞳孔和周围虹膜之间产生强烈的对比（即，不一定能观察到清晰的瞳孔边界）。为了解决这个问题，本文测量了固定圆圈内的平均像素暗度，其中包括瞳孔和周围光圈的区域（青色轮廓，图1d）。当瞳孔收缩时（例如，在 PLR 事件中），该固定圆圈内的黑色像素面积减小，从而降低了圆圈中的平均像素暗度（图1d，左）。

接下来，使用 SWIR 成像评估了闭眼条件下的 PLR。参与者在两个实验过程中闭着一只眼睛，而另一只眼睛睁着。利用健康个体双眼瞳孔动态的对称性，本文将闭眼 SWIR 成像与用作地面实况的睁眼数据进行了比较。图 1e 显示了从闭眼 SWIR 数据（使用如上所述的“固定圆暗度”方法）估计的瞳孔动力学的代表性轨迹，其中可以很容易地观察到每个 PLR 事件周围的偏转。将闭眼 SWIR 数据估计值与地面实况开眼测量进行比较（图1e） 表明 SWIR 成像可以通过闭眼准确捕捉 PLR 动态（图1f） 并在具有不同虹膜颜色的参与者中表现良好（图1g，h）。在整个数据集中，通过这种设置和参数，92.7% 的参与者可以揭示稳健的 PLR（图1f）。对于所有参与者，睁眼平均 PLR 事件时程和闭眼平均 PLR 事件时程之间的平均 Pearson 相关系数为 0.57 （范围：-0.36 至 0.99，SD = 0.38），平均 R 平方值为 0.47 （范围：0-0.98，SD：0.37）。

图2. 对照实验表明闭眼成像克服了潜在的混杂因素的影响

接下来，本文通过照实验排除了几个潜在的混杂因素（图 2）。首先，验证了本文的估计方法反映了与实际瞳孔成像相关的信息，而不是那些时间前后被视觉刺激照亮的眼睑的可能信息（即，确保固定圆圈黑暗的瞬间减少（解释为较小的瞳孔）不仅仅反映更亮的眼睑）。有几个方面表明情况并非如此：（i）本文的 PLR 时间过程的形状高度不对称（急剧收缩后逐渐重新扩张），而光刺激是“开-关”方波，（ii）PLR 效应在光刺激终止后持续很长时间（可见光终止但瞳孔需要更长时间才能重新扩张），以及（iii）同样被可见光刺激照亮的对照前额区域无法预测瞳孔动态。此外，（iv）本文进行了一项对照实验，其中屏障阻止任何来自屏幕的光线到达闭上的眼睛（图 2a-d）。在本实验中，所有 8 名参与者的闭眼均观察到了稳健的平均 PLR 响应（平均响应见图2e），表明照明的变化是由瞳孔收缩引起的。对于所有参与者，睁眼平均 PLR 事件时间过程与闭眼平均 PLR 时间过程之间的平均 Pearson 相关系数为 0.7（范围：0.24–0.99，SD = 0.29），平均 R 平方值为0.56（范围：0.06–0.99，SD：0.38）。经过 Fisher 变换的所有参与者的 Pearson 系数与零之间的差异具有统计学意义（t(7) = 3.85, p = 0.006, 95% CI [0.48, 2.03]），R 平方值也具有统计学意义。因此，至关重要的是，即使闭眼且未暴露于光刺激，闭眼成像也可以检测到强大的 PLR。其次，本文通过实证验证了直接和协同 PLR 反应的幅度确实相似（如前所述，在 ~5% 以内17），从而验证了本文以一只睁开的眼睛作为评估闭眼成像的基本事实的方法是足够的（图 2f）。由于参与者在屏障黑暗一侧的眼睛没有暴露在光线下，因此在实验中双眼睁开时测量的瞳孔直径可用于计算在相同条件下闭眼时测得的黑暗度变化的校准函数。如图 2g 所示，固定圈的黑暗度和瞳孔直径高度相似并呈现线性相关性 (R2 = 0.96；图 2h)。第三，本文验证了当双眼自然闭上时（图 2i、j）也可以在闭眼条件下实现稳健的 PLR 成像——无需用手指将眼睛闭上，这一过程可能会导致眼睑拉伸并形成有利的成像条件。所有参与者（N = 6）在自然闭合和拉伸眼睑时均表现出稳健的 PLR 反应。

图3. 通过深度学习分析SWIR 数据进行闭眼捕捉 PLR 动态

为了用数据分析来补充直观的“固定圆圈暗度”方法，研究者们采用了基于深度学习的图像处理方法来识别闭眼 SWIR 数据中的瞳孔动态。研究者们使用 U-NET 架构训练了一个神经网络模型，其中包含睁眼和闭眼的图像对（“训练数据”）。该模型的输出（“测试数据”）仅基于闭眼的一组图像，每张图像代表眼睛睁开时的估计图像，研究者们可以从中提取瞳孔大小（以毫米为单位）。将闭眼数据（或控制前额区域）得出的瞳孔大小模型估计值与地面真实睁眼数据进行比较。图 3a展示了该模型基于闭眼 SWIR 数据成功估计瞳孔大小的代表性示例。定量分析证实了 PLR 事件周围的成功估计（图 3b）。实况与闭眼估计值之间的中位 MAE 约为 0.40 毫米，明显低于实况与基于对照图像的估计值之间的 MAE，0.52 毫米，t(40) = 4.32，p = 0.0001，95% CI [0.06, 0.17]，通过配对双尾 t 检验（图 3c）。结果表明，通过使用闭眼图像中对照区域无法获得的信息（例如瞳孔变化），神经网络预测得到了显著改善。

图4. SWIR数据的 DLC 分析可捕捉闭眼时的注视方向

最后，研究者们越过了瞳孔测量法，进行了一项单独的实验，研究了参与者注视九个屏幕位置时的凝视方向估计，可以从闭眼 SWIR 数据中成功提取凝视方向（图 4a）。为了量化闭眼条件下凝视方向信息的精度，研究者们将瞳孔位置的真实信息（从应用于睁眼数据的 DLC 模型获得的坐标，方法）与基于闭眼 SWIR 数据的瞳孔位置坐标（从训练用于识别眼睑上黑眼圈的 DLC 模型获得的坐标）进行了比较。计算了每只眼睛相对于注视十字准线时的瞳孔位置的相对瞳孔位置，作为 (0,0) 原点。图 4b 展示了单个参与者的代表性示例，其中可以很容易地在闭眼数据中检测到朝向目标的水平和垂直眼球运动。图 4c 显示了此参与者的睁眼真实情况与闭眼估计之间的相对差异分布，分别为垂直偏移（y 轴）和水平偏移（x 轴）。在所有参与者（n = 40）中，瞳孔位置估计的中位 MAE 分别为垂直和水平偏移 1.4 毫米和 3.4 毫米。最后，研究者们根据设置的几何形状，将眼睛图像平面中的 2D 偏移转换为视角度 (DVA）。这表明，研究者们的凝视方向估计具有典型的准确度，分别反映了垂直轴和水平轴的8.9° 和 14° 的误差（图 4d、e）。通过将真实数据（闭眼和睁眼的同时数据）与替代数据（闭眼数据与睁眼数据，其中100,000 个实验片段随时间随机打乱）进行比较，确定了该估计准确度的统计显着性。研究者们发现，在混洗控制数据中，凝视方向估计比偶然预期的准确度明显更高 (p = 0.000005, df = 100,038)。

本文利用一种系统和分析方法，结合 SWIR 成像系统和专用的数据分析方法，通过闭眼非接触式监测瞳孔大小和注视方向 (眼球运动) 的快速 (~30 毫秒) 动态。实验重点关注健康参与者睁开一只眼 (作为基本事实) 而闭上另一只眼时对可见光刺激的 PLR 反应。使用当前设置和参数作为初步概念验证，研究者们已经可以证明“固定圈暗度”分析方法可以在单次试验数据和绝大多数 (92.7%) 个体受试者中稳健地揭示 PLR (图 1)。此外，基于深度学习的方法可以可靠地预测闭眼时的 PLR 动态 (图 3)，并且可以估计闭眼时的注视方向，误差为 8.9–14° DVA (图 4)。目前，本研究报道的方法是实现闭眼时快速跟踪瞳孔大小和注视方向的非接触式方法，在研究和临床护理方面具有巨大潜力。PLR 具有强大的刻板动态，是验证这项技术的理想环境。该研究方法可以进一步开发，以跟踪许多闭眼领域（包括睡眠、麻醉、重症监护等）中瞳孔大小和眼球运动的持续变化。

参考文献

Ben Barak-Dror, O., Hadad, B., Barhum, H. et al. Touchless short-wave infrared imaging for dynamic rapid pupillometry and gaze estimation in closed eyes. Commun Med 4, 157 (2024).