近日,国际顶级会议ACM Multimedia 2024在澳大利亚墨尔本举办,由朱艾春和董冠男老师指导的公司2022级研究生张旭同学(第一作者)的长文 “TVPR: Text-to-Video Person Retrieval and a New Benchmark”被大会录用。ACM Multimedia是计算机学科多媒体领域的顶级国际会议,也是中国计算机学会(CCF)推荐的该领域唯一的A类国际学术会议。ACM Multimedia 2024共有4385篇投稿进入审稿阶段,经过Rebuttal后,最终有1149篇论文(26.20%)被录用。
图1:图片遮挡以及动作信息缺失情况示例
该论文提出了一个文本-视频行人检索(TVPR)新任务以及一个新数据集,并在此基础上提出了一种多元特征引导的片段化学习策略(Multielement Feature Guided Fragments Learning strategy,MFGF)。现有的大多数基于文本的人物检索方法都侧重于文本-图像的人物检索。然而,由于孤立帧提供的动态信息不足,当人物被遮挡时(如图1所示),检索性能会受到极大的影响。
图2:TVPReid数据集高频词云与行人视频示例
由于目前没有包含自然语言描述的行人视频数据集或基准,该研究团队耗费半年时间构建了一个大规模文本-视频行人检索数据集(Text-to-Video Person Re-identification dataset,TVPReid)。该数据集包含6559个行人视频,每个行人视频有两段文本描述。据悉,该团队将于近期公开发布该数据集。
图3:模型结构图
针对文本-视频行人检索任务,该论文提出了一种多元特征引导的片段化学习 (MFGF) 策略,该策略利用跨模态文本-视频表征来提供强大的文本-视觉和文本-运动匹配信息,以应对不确定的遮挡冲突和可变运动细节。该模型利用ViT和S3D联合提取行人视频的特征,增强视频特征中的动作信息,同时利用BERT编码文本描述,提取文本特征。此外,MFGF为文本和视频特征协作学习建立了两个潜在的跨模态空间,进一步缩小文本和视频之间的跨模态语义鸿沟,提升模型对文本-视频跨模态信息中语义共性的理解,进而提高了检索精度。
作者:朱艾春(必赢bwin线路检测中心)
审核:高辉庆、万夕里