太原理工 李一迪团队CAAI:视听对比学习多模态跟踪网络

文献速读

多说话人视听跟踪在真实场景中面临跨模态特征偏差、弱声源定位模糊以及身份切换频发等挑战。针对上述问题，本文提出了一种基于视听对比学习的多模态多说话人跟踪网络AVCLNet，通过将视觉与听觉特征映射到统一表示空间，显式建模跨模态一致性，增强身份判别能力。同时，设计了视觉引导的弱声源加权增强方法，并在数据关联阶段融合二维与三维几何约束，提高复杂场景下的跟踪鲁棒性。在AV16.3和CAV3D数据集上的实验结果表明，所提出的方法在定位精度和多目标跟踪性能上均优于现有先进方法。

正文导读

本文围绕多说话人视听跟踪中普遍存在的身份不一致和跨模态错配问题，提出了一种基于视听对比学习的多模态跟踪框架 AVCLNet（如图所示）。其核心创新在于将对比学习机制引入视听跟踪任务，构建跨模态正负样本对，通过拉近正样本对，有助于网络学习同一目标的多模态一致性表示，实现更细粒度的多模态特征对齐。同时通过推远负样本对，提升网络对不同目标相似度的判别能力。该机制有效缓解了传统融合方法在多人交互场景中易产生的身份混淆问题。

图1： AVCLNet 的整体框架

针对多声源环境下弱声源易受噪声干扰问题，本文进一步提出了一种视觉引导的弱声源加权增强方法。该方法利用视觉检测结果约束声源空间采样的范围，并通过时空动态加权策略叠加历史声学线索，使弱声源在时间和空间维度上得到有效增强，从而显著提升了多说话人同时发声场景下的声源定位稳定性。并在数据关联阶段融合二维与三维几何约束，提高复杂运动场景中的匹配鲁棒性。

图2： 基于视觉引导的弱声源加权增强方法

在具有挑战性的多说话人数据集上的实验结果表明，AVCLNet在定位精度、多目标跟踪性能以及身份稳定性方面均取得了显著提升，验证了视听对比学习在多模态目标跟踪任务中的有效性和应用潜力。

作者简介