黄色直播

科研进展:一种基于几何先验的跨频交互人体动作识别网络
发布日期:
2026-03-06
浏览次数:
10

针对现有点云动作识别方法面临的空间结构退化和时间运动割裂两大挑战,提出了一种基于几何先验的跨频交互人体动作识别网络(Geo-CF2Net),该网络首次将基于元运动建模的几何先验补偿机制与跨频运动交互融合系统性地引入点云动作识别任务,充分挖掘了动态点云中细粒度的空间结构信息与多尺度的时序运动语义。在MSR-Action3DUTD-MHADNTU RGB+D 60等多个公开数据集上的实验结果表明,Geo-CF2Net不仅能有效缓解点云下采样导致的几何信息损失,在低帧率或点云稀疏条件下保持对人体细微动作的高敏感性,还能通过跨频运动单元的协同交互,统一建模动作的长期演化趋势与瞬时关键响应,显著提升了复杂场景下的泛化能力,在智能监控、人机交互与虚拟现实等领域具备重要的应用价值。

通过显式建模人体姿态的几何约束,并结合低频稳态与高频瞬态运动特征的互补融合,有效提升了动作识别的精度与鲁棒性。其核心包含两大创新模块:空间几何姿态先验模块通过多层次几何约束显式建模人体姿态结构,有效补偿因空间下采样导致的几何信息损失,充分挖掘点云中潜在的几何拓扑关系;时序运动单元交互协调模块则提取并融合低频稳态运动特征与高频瞬态细节特征,通过跨频运动单元的协同交互,增强模型对复杂动作模式的建模能力。

论文“Geo-CF2Net: Geometry-Prior Cross-Frequency Interactive Fusion Network for 3D Human Action Recognition”于202510月在ACM International Conference on Multimedia (ACM MM)上正式发表。ACM MM是多媒体领域排名第一的国际会议,被中国计算机学会(CCF)、中国人工智能学会(CAAI)共同推荐为A类国际会议。论文DOI10.1145/3746027.3755373我院硕士生陈昭宇为论文的第一作者,黄倩老师为论文的通讯作者,其他作者包括我院张云飞、巫义锐、李鑫老师以及南京林业大学李兴老师等。