基于稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP)的脑-机接口(Brain-Computer Interfaces,BCI)可将不同频率的视觉刺激目标映射到某种控制指令中以达到控制外部设备的目的。为了探究AR-BCI对刺激数量的可容纳性及多目标刺激数量对AR-BCI分类精度的影响,文中设计了4组不同数量的刺激界面,并通过HoloLens(AR)眼镜进行显示。对比分析表明,随着刺激数量的增加,4种布局的分类正确率逐渐降低,并且刺激目标的位置会影响分类的精度。相同的实验范式下,通过比较计算机屏幕(PC)和AR两种显示终端的分类结果发现,刺激目标数量增多对AR-BCI的分类性能影响较大。目前的研究结果表明,刺激数量是影响AR环境中构建AR-BCI的关键因素。

针对复杂虚拟现实场景中传统导航方法对用户支持不足和用户沉浸感较低等问题,文中提出了基于梯度提升迭代决策树的二分类模型,利用用户在虚拟现实环境中使用辅助导航时需要的眼动数据,来分析和预测用户在任务过程中是否需要辅助导航。根据用户的注视序列对该模型进行评估,得到用户需求判定方法的平均精确率和准确率分别为77.6%与77.2%。此外,文中借助所设计模型实现了一个导航辅助原型系统,通过对用户的眼动数据进行分类,来自动呈现导航辅助界面。实验结果表明,与传统的永久性辅助导航方法相比,新提出的自适应辅助导航具有更好的用户体验。

手势识别在人机交互中有着广泛的应用前景,近年来随着无线通信与物联网的飞速发展,几乎任何地方都部署了WiFi设备,并涌现了大批关于WiFi信道状态信息(Channel State Information,CSI)的手势识别方法,目前大多数基于CSI手势识别的研究仅针对了已知场景下的手势识别研究,对于未知场景,需要增加未知场景中的新数据进行额外的学习训练,否则识别精度将会大幅下降,限制了其实用性。针对这一问题,提出了一种基于3D卷积神经网络的CSI跨场景手势识别方法,该系统通过提取与场景无关的特征,并结合3D卷积神经网络学习模型来实现跨场景手势识别,在实验中使用网络公开数据集来验证该方法,结果显示该方法对于6个不同动作手势,在已知场景中的平均识别准确率达到了86.50%,在未知场景中的平均识别准确率达到了84.67%,能够实现跨场景的手势识别。

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式。基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点。传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集。与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量。为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能。该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别。同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集。实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38%,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2％。

传统的课堂行为识别方法侧重于交互行为本身的辨识,而非群体发现。课堂环境下实现交互群体的准确定位与发现,是进行个体行为识别的基础,但存在由遮挡造成的行为数据缺失问题。使用骨骼数据表示人体行为及运动轨迹,具有不受光线和背景干扰、数据表达简单等优点。针对骨骼数据的多人交互群体发现进行研究,提出了一种基于骨骼轨迹聚合模型的交互群体发现算法(Interactive Group Discovery Algorithm Based on Skeleton Trajectory Aggregation,IGSTA)。首先,将骨骼数据标准化到以人为中心的坐标系,减小尺寸变化和初始位置不同对识别精度的影响;其次,提出了一种多核表示的骨骼轨迹聚合模型,准确描述了学生交互行为群体的变化;最后,对聚合后的骨骼轨迹进行聚类,实现交互群体发现。采用Kinect获取模拟的课堂学生交互行为视频,通过实验验证了该方法的有效性,即在骨骼节点缺失的情况下,仍可准确发现课堂环境下的学生交互群体。