摘要：行为检测任务包含行为分类和边界定位，往往关注行为特征和边界特征。目前的方法忽略了行为空间特征对于该任务的重要性，并存在行为边界预测模糊的问题，影响行为检测模型的性能和应用。针对以上问题，本文提出一种基于显著目标追踪的行为检测方法（Salient Object Tracking for Action Detection，SOT-AD）。首先，为了学习不同尺度的显著空间信息，本文提出分级注意力网络，旨在捕捉行为关联的显著目标，减少行为无关信息的干扰。其次，为了使相邻时序位置关注到的显著目标具有一致性，本文提出显著目标追踪损失。引入中性样本辅助构造“目标-次目标-背景”特征池，旨在学习特征时序上下文信息，以实现显著目标追踪。在THUMOS14和ActivityNet1.3 两个通用数据集上的实验结果表明，与主流方法相比，本文所提SOT-AD在mAP 指标上分别提升了0.9%和0.6%。其中，在THUMOS14数据集上，mAP@tIOU=0.5达到72.7%，提高2.7%。实验证明了本文所提方法在行为检测任务中具有更优的效果。
文章目录
0 概述
1相关研究
1.1视频特征提取
1.2时序相关性学习
2 基于显著目标追踪的行为检测方法
2.1 问题定义
2.2分级注意力网络
2.2.1视频特征编码
2.2.2分级注意力
2.3显著目标追踪
3实验与结果分析
3.1数据集
3.2实验设置
3.3与其他方法比较
3.4消融实验
4结束语
