摘要

自闭症的核心特征主要体现在社会认知层面,现有证据表明患者在动作感知和运动功能方面存在障碍。然而,目前缺乏能够系统研究自闭症患者这些功能间神经与行为关联机制的公开数据集。Move4AS数据集旨在填补这一空白,其设计初衷是为了促进对自闭症谱系运动功能潜在机制的研究。该数据集整合了多模态数据,包括在运动模仿任务(舞蹈和行走)中采集的EEG和3D运动数据,这些任务设计用于激活情感和社会情境下的运动功能。数据集包含20名对照组参与者和14名临床组参与者。通过16通道无线脑电帽记录EEG信号,并采用10摄像头追踪的标记式动作捕捉服获取3D运动数据。此外,数据集还提供了参与者的神经心理学特征(智商和自闭症评分)。

引言

尽管自闭症最初被视为是一种以社交和情感障碍为特征的疾病,但大量研究指出自闭症谱系(AS)个体在动作感知和运动能力方面存在显著困难,这种现象在儿童和成人群体中均有体现。自闭症患者常表现出运动协调、姿势控制、重复行为及模仿学习等方面的障碍。这些障碍往往在婴儿期就已显现,由此催生了一个假设:这些障碍可能导致对运动的不寻常感知和社交参与度降低,进而可能影响自闭症核心症状的形成。因此,研究自闭症患者的复杂运动功能对于揭示其病理生理机制、支持早期诊断和治疗等实际工作至关重要。

大量行为学证据表明,自闭症患者存在模仿困难,但学界对这些障碍是否属于模仿特异性问题还是更广泛障碍的一部分仍存争议。部分研究者认为,AS患者的模仿障碍并非源于动作观察缺陷或镜像神经元回路异常,而是执行精确手势存在困难或发育性运用障碍所致。然而,目前尚不确定这些问题是源于发育迟缓、社会动作感知受损,还是复杂神经动力学机制中存在更深层次的异常。

因此,研究者们越来越倾向于整合多模态数据来提升对自闭症运动功能的评估与理解,以期能够识别与这些差异相关的神经标记物。然而,目前仍缺乏结合行为观察与神经生理学检测的AS运动功能研究数据集。许多研究依赖功能磁共振成像(fMRI)来探索大脑活动,但该方法无法兼容自然运动任务的记录,因为受试者在扫描过程中无法自由活动。如Li等人(2024)所述,除MRI外,常用的传感技术还包括EEG、眼动追踪和面部追踪系统。由于数据采集的这些限制,确定自闭症运动功能的明确神经标记物仍然是一个亟待解决的研究问题。

在这里,本文介绍了Move4AS数据集,该数据集整合了无线EEG和3D动作捕捉两种模态,如图1所示。数据是在两项不同的模仿任务中采集的,这些任务旨在用于诱发不同情感和社会情境下的动作识别与执行。

图1.实验方案概览。

该数据集的建立主要为实现两个目标:通过客观分析表征自闭症患者的运动功能以理解其潜在神经机制;支持开发用于早期诊断和干预的创新筛查方法。其独特之处在于同时整合了EEG和3D运动两种传感模态,但也支持单独使用任一模态进行分析。Move4AS数据集可能为神经科学研究做出重要贡献,为了解自闭症运动功能提供宝贵资源。它还能促进生物医学应用、工程与机器学习等领域的跨学科研究,帮助发现神经标记物,并在筛查应用中为分类模型的评估提供基准。

方法

实验装置与数据采集

数据采集系统由基于标记的光学运动捕捉系统、无线脑电系统以及处理显示系统构成。脑电数据采集使用g.Nautilus7可穿戴式EEG头戴设备(gTec, Austria),配备16个g.LADYbird主动凝胶电极(采样率250Hz)。3D运动捕捉使用OptiTrack Flex 3系统,配置10台摄像机覆盖5×5m区域(采样率120Hz),采用37个身体标记点实现自动骨骼重建。视觉刺激呈现使用49英寸LCD电视屏幕(刷新率60Hz,分辨率1920×1080)。图2展示了实验场景与装置的全景视图。

图2.实验装置与参与者位置示意图。左:运动捕捉系统;右:行走区域显示参与者面向任务指令屏幕。

脑电与三维运动数据通过工作站进行采集,该工作站包含台式计算机,采用Mathworks Matlab®编写的自定义脚本(使用Data Acquisition Toolbox和Simulink gTec模型记录脑电数据),并通过OptiTrack Motive软件记录运动捕捉数据。通过嵌入在数据流中的事件触发器确保数据流之间的同步。屏幕用于向参与者提供指令与时间提示(图3)。

图3.实验范式示意图。

参与者

Move4AS数据集包含两组数据:非自闭症成人组与自闭症成人组。非自闭症组包含20名正常个体(男性13名,女性7名),平均年龄为25.9±3.8岁;自闭症组包含14名自闭症个体(男性12名,女性2名),平均年龄为27±6.8岁。自闭症诊断均由该领域专业人员进行确认,并尽可能采用金标准工具:自闭症诊断访谈量表修订版(ADI-R)、自闭症诊断观察量表(ADOS)的直接结构化评估,以及《精神障碍诊断与统计手册第五版》(DSM-5)的现行诊断标准。两组均接受神经心理学评估,包括韦氏成人智力量表简版(WAIS-III)的智商测试和自闭症谱系商数(AQ)测量。表1汇总了这些参数,个体特征数据详见数据集存储库。

表1.各组人口统计学与神经心理学数据(均值±标准差)。

本研究经科英布拉大学医学院伦理委员会批准(Ref. CE-084/2022),严格遵循人类研究安全准则和欧盟《通用数据保护条例》(2016/679号条例)。所有参与者均根据《赫尔辛基宣言》签署知情同意书(含数据共享授权)。数据集不包含任何可识别个人身份或住址的信息,所有数据均以字母数字编码标识(对照组S1-S20,临床组P1-P14)。

模仿范式

参与者需模仿针对不同情感社交场景设计的特定运动模式:(1)行走(自信vs.悲伤);(2)舞蹈(独舞vs.双人舞)。范式旨在激活镜像神经元系统。行走任务可研究日常活动中的情绪相关运动模式,舞蹈任务则能评估内隐的社交运动模式。参与者需遵循屏幕显示的基于生物运动刺激的光点动画指令(自信行走视频单帧示例如图3所示)。

两项运动的实验流程如图3所示:脑电与运动数据按各自采样率采集,事件触发器实现数据同步。范式通过Matlab® Psychtoolbox-3编程。每个参与者的记录分为记录block 和休息间隔(对照组4个block,自闭症组3个block),每个block包含三种不同的条件,每个条件下有10个随机顺序的条件试次(如自信/悲伤/自然行走;独舞/双人舞/身体抖动对照),每个block总计30个试次。

行走任务

参与者从地面蓝色胶带标记的起始位置开始,可在7m范围内行走(确保运动追踪与脑电信号覆盖)。每个试次以中央注视点(视角1.8°)和3s基线期开始,随后呈现3s标注“自信”或“悲伤”的行走者视频指令。中性指令(纯文本对照条件)用于引发自然行走模式。指令消失后,蜂鸣声提示开始4s行走(在此期间,屏幕黑屏),结束蜂鸣后参与者有6s的时间回到初始位置。

舞蹈任务

在舞蹈任务中,受试者站在距离屏幕2m处接收指令。该位置(以蓝色胶带标记)位于动作捕捉区域中心,以确保受试者获得最大活动自由度。每个试次以1s基线期开始,期间屏幕中央显示固定十字(视角3.6°)。随后进入3s的指令期,播放标有“solo”(独舞)或“duo"(双人舞)的舞蹈演员视频。另有一种与行走范式类似的中性指令,仅以文本形式呈现“body shake”(身体晃动)。指令消失后,蜂鸣声提示受试者开始动作任务。受试者需在半径1m的圆圈内,按照示范视频的动作模式完成4s舞蹈。第二次蜂鸣声标志动作期结束,受试者有3s的时间返回初始位置。

视觉刺激

所有视觉刺激均使用Psychtoolbox-3生成,屏幕分辨率为1920×1080像素,对角线长为49英寸。这些刺激被显示为黑色背景上的白色元素。十字注视点位于屏幕中央,大小为80×80像素。屏幕上显示的文本(无论是伴随光点动画还是单独出现的)字号均为48像素。所有文本为葡萄牙语,水平居中,垂直方向位于屏幕中心上方180像素处(占屏幕高度的66.7%)。教学用光点动画以30Hz帧率呈现,运动光点大小为28像素。这些动画基于公开数据库的3D动作捕捉数据生成,通过提取3D关节坐标创建2D帧画面,并以髋关节为基准进行水平与垂直居中。3D动作数据选取标准如下:

--自信行走:来自CMU数据库82_09号视频,使用750-1292帧,无缩放,4倍速,无旋转,17个关节点

--悲伤行走:来自CMU数据库91_13号视频,使用500-1300帧,无缩放,4倍速,垂直y轴旋转-π/2,17个关节点

--独舞:来自塞浦路斯大学数据库Vasso_Salsa_Shines-01号视频,使用1700-2500帧,缩放系数5,3倍速,无旋转,21个关节点

--双人舞:来自HDM5动作捕捉数据库HDM_dg_03-01_02_120号视频,使用1700-3500帧,缩放系数4.5,3倍速,无旋转,21个关节点

3D动作数据采集

动作捕捉系统通过受试者穿戴的动捕服上的反光标记点记录3D运动数据。数据通过轮询流程采集,Matlab脚本向Motive软件请求数据。采样率随轮询周期变化,因此样本间的采样时间不固定。所有3D动作数据的平均采样率为50Hz,每个样本均带有时间戳。

将动作数据分为两组,3D标记点与刚体关节(见图4)。动捕服上的37个标记点用笛卡尔坐标(x,y,z)表示。每个刚体关节由包含笛卡尔坐标与四元数的7维向量(x,y,z,a,b,c,d)表示,其中(x,y,z)对应关节空间位置,(a,b,c,d)表征其朝向。坐标系相对于地平面设定。标记点与刚体关节的标签及位置信息存储于数据集的独立文件中。

图4.标记点与关节定位示意图,以及刚体关节的命名规则。3D动作数据包含37个标记点与21个关节。

脑电数据采集

采用g.Tec g.Nautilus系统记录脑电数据,采样率为250Hz,并使用50Hz的陷波滤波器消除工频干扰。参考电极置于右耳垂。最多采集16个通道的脑电数据,电极位置包括:Fp1、Fp2、F3、Fz、F4、T7、C3、Cz、C4、T8、P3、Pz、P4、PO3、PO4及Oz(分布如图5所示)。部分情况下Oz通道(受试者S1-S20)或Oz与PO3双通道(受试者P1-P7)数据缺失。具体通道可用情况如下:

--受试者S1-S20(15通道):FP1、FP2、F3、FZ、F4、T7、C3、CZ、C4、T8、P3、PZ、P4、PO3、PO4

--受试者P1-P7(14通道):FP1、FP2、F3、FZ、F4、T7、C3、CZ、C4、T8、P3、PZ、P4、PO4

--受试者P8-P14(16通道):FP1、FP2、F3、FZ、F4、T7、C3、CZ、C4、T8、P3、PZ、P4、PO3、PO4、Oz

图5.脑电采集通道位置。实验中使用的16个有效通道用蓝色标注,分布于全脑(额区、中央区、顶区和枕区)。

由于g.Nautilus是无线脑电帽,数据流可能因连接中断产生伪迹。但该伪迹影响轻微,可通过脑电预处理步骤消除。脑电采集前,使用皮肤去角质凝胶(Weaver and Company Nuprep skin prep gel)与导电膏(g.Tec g.GAMMA gel)处理头皮,确保电极阻抗低于5kΩ。除脑电数据外,g.Nautilus还同步记录了惯性测量单元(IMU)的三个轴(x,y,z)的加速度数据,其采样率与数据结构与脑电数据一致。

数据对齐

三种数据类型(EEG、IMU、3D动作)以两种不同的采样率采集。为了确保EEG/IMU与3D动作数据对齐,本研究在数据流中嵌入时间事件触发器。这些触发器标识每个试次/时段对应的实验条件(自信、悲伤、自然/独舞、双人舞、身体晃动)及其时段(十字注视点、指令期、执行期等),通过数字编码形式嵌入数据流。表2列出了触发器数字编码与对应类别的映射关系。

表2.刺激和提示的数字标签与类别标签对应表。

每个受试者的数据单独存放于文件夹,每个记录block (含3×10=30个试次)按传感器模态独立存储文件。各传感器模态的文件数量取决于采集时的记录block总数。多模态分析需使用同一记录block下的各传感器文件。由于技术原因,3D动作数据的记录block数与脑电数据存在差异。表3展示了各组别及各范式下,不同传感器模态的试次数量均值与标准差。

表3.各组别传感器模态的试次数量统计表。数值为每个受试者的试次数量均值±标准差。

数据记录

Move4AS数据集存储于Figshare存储库中。该数据集按文件夹进行组织。从层级结构来看,根文件夹包含每个受试者的标签文件夹。对照组受试者编号为S1至S20,临床组受试者编号为P1至P14。在每个受试者的标签文件夹中,可找到范式文件夹(“walk”或“dance”)。这些文件夹中的数据文件按特定命名规则存储,包含数据模态名称及受试者的相应记录block。图6总结了数据集文件夹与文件的结构及命名规则。数据集中的数据文件均为.mat格式。

图6.数据集文件夹与文件组织结构。在文件层级中,符号∗代表受试者数字标识符,#代表受试者在范式中的记录block。文件命名还包含P或S以区分受试者组别。

3D运动数据文件模态中包含以下相关数据记录及其维度:

--rigidbodyData:该单元矩阵包含21个刚体关节的3D坐标与四元数样本。其维度为1×Ns单元阵列,每个单元大小为7×21。Ns为样本数量。

--markerData:该单元矩阵包含37个反光标记点的3D坐标样本。其维度为1×Ns单元阵列,每个单元大小为3×37。

--cueRegister:该寄存器为1×Ns向量,记录每个样本的提示标签。

--stimRegister:该寄存器为1×Ns向量,记录每个样本的刺激标签。

--timestamp:该寄存器为1×Ns向量,记录每个样本的时间戳。

EEG数据文件包含一个维度为Nchannels×Ns的矩阵eegDataT,其中Nchannels表示EEG通道数加上最后两行(分别为每个样本的刺激标签与提示标签)。Ns为样本数量。值得注意的是,当处理仅记录14个可用通道的受试者时,第14行应视为噪声。通道定位文件存储于数据集根目录中。

与EEG数据来自同一放大器的IMU数据文件包含一个维度为5×Ns的矩阵imuDataT。前3行为3D加速度数据,最后两行分别为每个样本的刺激标签与提示标签。Ns为样本数量。

数据集根目录下还包含用于数据处理、解析与预处理的支持文件和代码。这些文件同时提供了各数据模态的描述及其对应记录block的特殊限制。受试者的神经心理学测量与生物数据存储于.xlsx文件中。表4描述了根目录下各文件的内容。

表4.数据集根目录下文件内容的简要说明。

技术验证

接下来,本研究分别分析了每种模态,旨在确认数据集中相关信息的有效性,从而推动基于该数据集的研究。本研究量化了各组运动数据,并采用简单分类方法进行组间区分。

3D运动数据分析

为了分析3D运动模态数据,本研究基于受试者与组别对模仿任务执行阶段的运动进行量化。将每个受试者的数据划分为若干时段,汇总每个刚体关节在各时段的运动量以衡量其位移程度。

数据预处理前,通过目视检查识别伪迹。对每个记录block进行逐试次检查,并剔除无效试次。存在的问题包括无法解析的骨骼重建、上下肢追踪不准确等。3DMotion_Participants_info.xlsx文件(存放于数据集存储库)列出了选定试次并对检测到的问题进行注释。图7与图8分别展示了步行任务与舞蹈任务中每个受试者目视检查前后的试次数量。在本节所使用的代码中,参数“-blacklist”(见Preprocess_3DMotion_rawfiles.zip)列出了被排除的记录block。由于数据集用户需根据具体分析解读报告结果,本研究提供了完整数据集。

图7.行走任务3D运动数据检查前后的试次数量。

图8.舞蹈任务3D运动数据检查前后的试次数量。

插值处理

预处理的第一步是对各时段执行期进行时间插值。由于采样率可变,样本时间戳间隔不均。通过插值实现运动量化:令T为时间戳集合(因此各样本的T值不同),tint∈T表示插值时间点,ti∈T与ti+1∈T分别表示tint前后相邻时间戳。插值公式为:

其中S(t)表示时间戳tint、ti或ti+1处的3D运动样本。在这一步之后,所有执行段均被等量采样为N个样本,N为数据集中执行段样本数的最大值。

标准化

为了减小受试者体型差异,本研究对骨骼进行了分段标准化:对身体各直接关节段(如肩至肘),将其长度标准化为所有受试者该段长度的平均值。首先计算每个受试者的平均段长,随后应用标准化因子。该方法遵循Zanfir等人(2013)的研究,最终生成每个受试者的标准化骨骼,从而实现受试者间与组间运动的精确比较。需要注意的是,运动量化计算时测量值均已标准化。

运动量化

运动量化采用髋关节坐标系作为各时段首样本的参考系,同时考虑关节层级关系以消除父关节运动对子关节的影响(如肘部运动对手部关节的影响)。在量化运动前,首先对插值和标准化数据集中的每个样本的每个关节J及其父关节Jp应用以下变换:

该计算针对数据集每个样本S在时间戳t处的各关节及其父关节执行。

关节运动量对应其在时段T内的位移。采用下式量化各关节运动:

其中MJ表示关节J在整个时段内的累积运动量。对每位受试者各时段内的每个关节执行此计算后,通过汇总该时段所有关节运动量获得全身运动量化值。由于骨骼段已标准化,该量化值并非实际物理位移,而是可用于跨受试者比较的相对值。

在组水平分析中,本研究计算了各组别和模仿任务(行走与舞蹈)在所有时段的全身运动平均值。图9展示了各运动条件下以米为单位的均值和标准差。结果显示组间存在显著差异,该发现强化了AS运动功能研究的价值,证实3D运动模态纳入数据集的重要性。

图9.各组别累积运动距离量化结果。

脑电数据分析

本研究此前(Paulo等人(2023))对采集到的数据进行了初步验证,但仅分析了对照组数据。其目的是验证以下假设:在μ频段(8-13Hz)内,动作识别与执行过程中会观察到特定的振荡特征。该频段已知与镜像神经元系统相关。该研究证实了运动相关脑区的正确激活,验证了实验范式及所采集数据的有效性。然而,本研究的重点在于区分自闭症组与对照组,以评估数据是否包含具有区分意义的模式。这对于验证本数据集的研究价值至关重要,可支持其揭示运动功能潜在神经机制的可能性。

考虑到每个时段的时间序列,本研究重点关注生物运动识别(指令阶段)的3s时段。在此期间,受试者观察模仿任务并保持静止站立,属于无明显运动参与的时段。针对每项模仿任务(行走与舞蹈),本研究进行了组间分类测试。仅纳入涉及模仿的时段(此时显示光点动画与文字说明),中性条件因不包含模仿任务故未予考虑。本研究将数据集划分为自闭症组(临床组)与对照组,所有受试者在两种条件下的时段数据按组别合并,并标注组别标签。每组数据进一步划分为训练集(占时段的80%,即3s时间窗)与测试集。

脑电数据采用汉宁窗sinc FIR带通滤波器(1-45Hz)进行离线预处理,随后剔除系统断连的时段。通过独立成分分析(ICA)去除眨眼伪迹、肌电及信号质量较差的通道。使用的脑电通道包括(Fp1、Fp2、F3、Fz、F4、C3、Cz、C4、P3、Pz、P4)。预处理通过MATLAB的EEGlab工具箱完成,预处理后每个受试者的时段总数见图10与图11。

图10.行走任务脑电数据检测前后的试次数目。

图11.舞蹈任务脑电数据检测前后的试次数目。

分类策略采用共同空间模式(CSP)特征提取器结合线性判别分析(LDA)模型。LDA模型的输入为CSP的首尾投影值,即功率对数方差构成的二维向量。针对每项模仿任务(舞蹈与行走)进行二分类以区分组别。

由表5可见,该简化分类测试表明数据中存在判别特征。为了确保运动因素对分类的影响最小化,本研究同时呈现了脑电放大器记录的运动加速度数据。两组在指令期间的平均运动量相当,且均处于最小运动幅度范围。

表5.组间区分分类结果。

使用说明

建议使用MATLAB或Python读取与分析本数据集。数据需经预处理以剔除噪声时段,并进行滤波。本研究提供了与技术验证相同的预处理代码脚本,存放于数据集的根文件夹中。3D运动数据采用Python 3.12.12(Scipy 1.13.0、Numpy 1.26.4以及Pickle 4.0工具包)进行处理。脑电数据预处理使用基于EEGlab工具箱(v2024.2.0)的定制脚本在MATLAB R2021b中执行。这些脚本是可选的,供数据集使用者参考。

代码可用性

使用本数据集无强制代码要求。提供的预处理代码脚本(基于MATLAB与Python)存放于https://doi.org/10.6084/m9.figshare.28296518中。这些脚本旨在促进快速的数据处理,可免费使用。

参考文献:Paulo, J.R., Sousa, T., Perdiz, J. et al. A Multimodal Dataset Addressing Motor Function in Autism. Sci Data 12, 959 (2025). https://doi.org/10.1038/s41597-025-05313-0

小伙伴们关注茗创科技,将第一时间收到精彩内容推送哦~

Logo

更多推荐