技术文章

多模态数据同步

北京荣通达科技有限公司

2024/3/29 15:32:36

当我们采用涉及多种设备记录的多模态时,首先要解决的问题之一是:如何同步各种信号?原因的造成是研究人员使用了多种不同的操作系统和设备,这些操作系统和设备来自多个不同的设备厂家,或者由研究人员自己开发解决的问题-如何实现同步记录的方法

为什么研究时需要与其它设备进行同步?

很大的原因在于实验目的或者是实验设计决定的,单一的实验技术在目前的实验研究中很难有比较高的影响因子,因此多模态的实验研究才显得更新颖,更突出亮点。具体的实验问题是如何同步不同的数据流,例如:眼动+脑电;眼动+近红外;脑电+近红外甚至是 眼动+脑电+近红外技术。不管是哪种组合,同步数据流是最重要也是不可避免的问题之一,除了同步数据流之外,还有一个重要的刺激事件marker也是非常关键的,这就涉及到事件时间戳对齐的问题。

事件时间戳为何如此重要?

如果触发事件的时间戳未能确保正确同步,得到的结果可能没有用,事件时间戳的问题,适用于同步多模态的实验。因为,我们在做ERP(事件相关电位)时,非常依赖触发事件的准确性。我们熟悉的ERP成分,如果看到下图中的发生触发的marker产生jitter,那么无论如何也得不到很好的结果的。

image.png

如何进行同步信号的触发

主要有两种方法来确保两个设备之间以及刺激表示之间的正确同步:

1) 基于硬件

1.1 TTL同步

基本上所有的设备发送trigger均可以通过并口端口进行,因此使用并口端口将是解题方法之一。

现在所有的接头都可以分为公头和母头两大类。

公头:泛指所有针式的接头。

母头:泛指所有插槽式的接头。

所有接头的针脚有统一规定,在接头上都印好了的,连接时要注意查看。针对,每个设备型号的设备一般情况下使用手册里都能找得到,并口也叫LPT端口,一下为常见的针脚定义。

image.png

如图中所示,针脚2-9才是用来传输电平信号的,它的组合方式即为2的0次幂到7次幂,当全部使用时,即可产生256个数字,一般情况下针脚25是用来接地的。

所以只需要做到刺激显示电脑的一端使用的是25针的并口一分为二,两路trigger信号分别供应两个不同的设备即可达到同步触发。

1.2 并口+网口

在某些设备中,已经有设备使用了网口进行trigger的触发,那么在现有的条件下,我们就可以使用同一台刺激电脑同时发送两个不同的信号分别给两个设备,

2) 基于软件(Lab Streaming Layer)

TCP / IP同步

使用通用的TCP / IP协议来完成。这个过程是在两个需要同步的系统之间创建一个TCP / IP连接(俗称局域网),并使用预定义的协议来标记事件。例如,在刺激软件和记录软件之间使用TCP / IP连接将使我们能够将事件从一个发送到另一个,以标记信号收集。TCP / IP在配置类型和可以交换的信息方面非常灵活。我们可以将其中刺激软件的电脑用作服务器,而其它软件则可以作为客户端。一旦建立连接,就可以通过特定的IP地址将消息标记从服务器发送到客户端。由实验刺激软件通过LSL进行发送数据流标记。


相关产品

猜你喜欢

当前客户在线交流已关闭
请电话联系他 :