近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）研究员王高昂课题组一项关于开放场景中跨视角多目标跟踪的新数据集和新方法最新研究成果 DIVOTrack: A Novel Dataset and Baseline Method for Cross-View Multi-Object Tracking in Diverse Open Scenes 被人工智能领域顶级期刊International Journal of Computer Vision(IJCV，IF=19.5, CCF A）接收。该论文的第一作者为ZJUI2021级博士研究生郝圣禹，共同一作为2023届电子与计算机专业本科毕业生刘培源（目前为清华大学深圳国际研究生院研究生），通讯作者为ZJUI王高昂研究员，其他合作作者还包括ZJUI2022届电子与计算机专业本科毕业生金凯迅、京东探索研究院詹忆冰研究员、ZJUI刘佐珠研究员、浙江大学计算机科学与技术学院宋明黎教授和华盛顿大学IEEE Life Fellow Jenq-Neng Hwang教授。
该论文提出了一种新颖的跨视角多目标跟踪数据集，即DIVOTrack，该数据集在移动相机视角下采集，场景更加真实和多样化，并具有更拥挤的人物轨迹，并为跨视角多目标跟踪建立了标准化基线和评价指标。该论文还提出了一种新颖的端到端跨视角多目标跟踪方法，即CrossMOT，它将目标检测、单视角跟踪和跨视角跟踪任务集成在统一的模型中。这应该是第一个同时具有目标检测和跨视角多目标跟踪能力的端到端模型，可以同时学习目标检测、单视角和跨视角的目标特征。基于上述数据集和模型，该论文建立了跨视角多目标跟踪评估的标准化基准。实验结果表明，该论文所提出的CrossMOT 实现了高跨视视角多目标跟踪精度，并且在DIVOTrack和其他数据集上优于目前最先进的 (SOTA) 方法，有望为跨视角多目标跟踪技术在自动驾驶、智能监控、行为识别等领域的应用提供有利支撑。
论文简介
近年来，单视角多目标跟踪得到了广泛的研究和探索。然而，由于单一视角的限制，在长时间跟踪过程中很容易丢失被遮挡的物体。跨视角的多目标跟踪可以缓解上述问题，但由于当前跨视图跟踪数据集存在缺少真实场景、缺乏多样化跟踪场景、包含轨迹数量有限等问题，导致现有数据集很难用来全面测试跨视角多目标跟踪方法的有效性。
▲ 图1 DIVOTrack数据集样例。从左到右代表同一个场景的不同视角，其中相同的人物具有同样颜色的检测框和一致的序号。
为克服上述困难并促进未来跨视角多目标跟踪的研究，该团队的此项研究提出了一种新颖的用于跨视角多目标跟踪的数据集，称为DIVOTrack。其具有以下主要特征：
- DIVOTrack 提供多样化的场景。它包含室外和室内场景以及各种周围环境，例如街道、购物中心、建筑物、广场和公共基础设施。
- DIVOTrack 提供大量目标轨迹集合，重点关注拥挤的环境。共有1690 个单视角轨迹和 953 个跨视角轨迹，这两个数据集都明显大于之前的跨视角多目标跟踪数据集。
- DIVOTrack 通过移动的摄像机采集，使得研究人员能够研究移动摄像机下的跨视角多目标跟踪。
▲ 图2 CrossMOT框架示意图。CrossMOT是一个端到端的跨视角多目标跟踪方法。
除了所提出的 DIVOTrack 数据集之外，该论文还提出了一个名为CrossMOT的端到端跨视角多目标跟踪基线框架。CrossMOT是一个统一的联合目标检测和跨视角多目标跟踪的框架，它使用集成的嵌入模型进行目标检测、单视角跟踪和跨视角跟踪。CrossMOT采用解耦的多头嵌入，同时学习目标检测、单视角重识别（Re-ID）和跨视角重识别特征。为了解决跨视角和单视角嵌入的冲突问题，其采用局部感知和无冲突损失来改进联合嵌入。具体来说，单视角嵌入侧重于学习时间连续性，而跨视角嵌入侧重于学习对象的不变外观。
利用该项研究所提出的数据集、基准和基线，研究者未来可以公平地比较跨视角多目标跟踪方法，有望促进跨视角多目标跟踪技术的发展。
该研究受到国家自然科学基金委、中央高校基本科研业务费、国家重点研发计划等资助。
作者简介
郝圣禹， ZJUI和浙江大学计算机科学与技术学院软件工程专业联合培养博士研究生，导师为王高昂研究员，研究方向为多目标跟踪。目前在IJCV、TMM、CVIU、CVPR等期刊和会议上发表论文多篇。曾获得2022年优秀研究生称号，是KBS、ICASSP、PRCV等期刊和会议的审稿人。
刘培源，ZJUI 2023届电子与计算机工程专业本科毕业生。目前在清华大学深圳国际研究生院就读硕士研究生，其研究方向为长时间序列预测、高斯过程和大语言模型微调等。
王高昂，ZJUI研究员，伊利诺伊大学厄巴纳香槟校区兼聘助理教授，博士生导师。分别于复旦大学、威斯康星大学麦迪逊分校、华盛顿大学获得本科、硕士和博士学位。研究方向包括计算机视觉、多模态学习、知识迁移、生成模型、时序建模，在国际知名期刊及国际会议上发表论文五十余篇，包括 IJCV、TIP、TMM、TCSVT、TVT、CVPR、ICCV、ECCV、ACM MM、IJCAI等。
论文信息
标题：DIVOTrack: A Novel Dataset and Baseline Method for Cross-View Multi-Object Tracking in DIVerse Open Scenes
论文地址：https://arxiv.org/abs/2302.07676
github地址：https://github.com/shengyuhao/DIVOTrack
王高昂团队CVNext实验室主页：https://cvnext.github.io/
