行人重识别综述-滕达博士

2023-08-28

1.引言

1.1选题背景

      行人重识别(Person Re-Identification,简称ReID)是计算机视觉领域的一个重要研究方向,其目的是在视频监控系统中,通过分析不同场景下的行人图像,从而将同一行人在不同的摄像头视角下进行识别。

行人重识别技术涉及到多个领域的知识,包括图像处理、计算机视觉、机器学习等。该技术的主要挑战在于图像中行人的姿态、服装、光照等因素的差异以及行人图像之间的视角变换。为了解决这些问题,研究人员提出了许多行人重识别算法。

传统的行人重识别方法主要基于手工特征提取和距离度量,例如局部二进制模式(Local Binary Pattern,LBP)、颜色直方图(Color Histogram)和欧氏距离(Euclidean Distance)等。但是,这些方法往往无法很好地处理图像中的干扰因素,导致识别精度较低。

近年来,深度学习技术的发展为行人重识别带来了新的机会。目前,基于深度学习的行人重识别方法已经成为该领域的主流。其中,卷积神经网络(Convolutional Neural Network,CNN)是最常用的深度学习模型之一。通过对行人图像进行卷积和池化等操作,CNN可以自动提取行人的特征表示,并且具有良好的鲁棒性和泛化性能。


1.2研究目的

     本综述的目的是系统梳理行人重识别领域的研究现状,总结各种方法的优缺点和适用范围,为行人重识别技术的进一步发展提供参考。


1.3研究意义

     通过综合分析各种行人重识别方法的优缺点和适用场景,有助于更好地理解行人重识别技术的现状和发展趋势,同时为实际应用提供指导和帮助。


1.4论文框架

      本综述共分为六个部分:引言、文献综述、综合分析、讨论和建议、结论、参考文献。文献综述部分将系统梳理行人重识别领域的研究现状,综合分析部分将对各种方法的优缺点和适用场景进行分析。讨论和建议部分将探讨研究现状中存在的问题,并提出相应的建议。


文献综述

1.数据集

论文数据集如下:

Image-based Datasets: 

• Market-1501 (ICCV 2015) 

• CUHK03 (CVPR 2014) 

• DukeMTMC-reID (ICCV 2017) 

• DG-Market (CVPR 2019) 

• MSMT-17 (CVPR 2019)

Tracklet-based Datasets: 

• iLIDS (BMVC 2009) 

• MARS (ECCV 2016) 

• DukeMTMC-video (CVPR 2018)

Scene-based Datasets: 

• PRW (CVPR 2017) 

• CUHK-SYSU (CVPR 2017)


2.学习方法

      特征学习方法

      全局特征学习:利用全身的全局图像来进行特征学习,常见的改进思路有Attention机制,多尺度融合等。

       局部特征学习:利用局部图像区域(行人部件或者简单的垂直区域划分)来进行特征学习,并聚合生成最后的行人特征表示。

      辅助特征学习:利用一些辅助信息来增强特征学习的效果,如语义信息(比如行人属性等)、视角信息(行人在图像中呈现的不同方位信息)、域信息(比如每一个摄像头下的数据表示一类域)、GAN生成的信息(比如生成行人图像)、数据增强等。

      视频特征学习:利用一些视频数据提提取时序特征,并且融合多帧图像信息来构建行人特征表达。

      特定的网络设计:利用Re-ID任务的特性,设计一些细粒度,多尺度等相关的网络结构,使其更适用于Re-ID的场景。

       度量学习方法:

       早期的度量学习主要是设计不同类型的距离/相似度度量矩阵。深度学习时代,主要包括不同类型的损失函数的设计及采样策略的改进:

       Identity Loss: 将Re-ID的训练过程当成图像分类问题,同一个行人的不同图片当成一个类别,常见的有Softmax交叉熵损失函数;

       Verification Loss:将Re-ID的训练当成图像匹配问题,是否属于同一个行人来进行二分类学习,常见的有对比损失函数,二分类损失函数;

       Triplet Loss:将Re-ID的训练当成图像检索问题,同一个行人图片的特征距离要小于不同行人的特征距离,以及其各种改进;

       训练策略的改进:自适应的采样方式(样本不均衡,难易程度)以及不同的权重分配策略。


行人重识别的评价指标

      Reid论文中常用的评测指标有mAP、CMC、ROC等:

       ROC曲线是检测、分类、识别任务中很常用的一项评价指标。曲线上每个点反映着对同一信号刺激的感受性。具体到识别任务中就是,ROC曲线上的每一点反映的是不同的阈值对应的FP(false positive)和TP(true positive)之间的关系。

       CMC曲线是算一种top-k的击中概率,主要用来评估闭集中rank的正确率。

       Precision就是检索出来的条目(比如:文档、网页等)有多少是准确的。

       Recall就是所有准确的条目有多少被检索出来了。


分类

       目前行人重识别领域的研究主要分为传统方法和深度学习方法两类。传统方法主要包括基于颜色、纹理和形状等特点的描述,而深度学习方法则主要采用深度神经网络进行特征提取和匹配。

       传统方法中,颜色直方图是最常用的特征描述方法之一。该方法将每个像素的颜色信息转换成一个直方图,然后将直方图作为特征向量。纹理描述方法则主要利用纹理特征对行人进行描述。常见的纹理描述方法包括局部二值模式(LBP)和方向梯度直方图(HOG)等。形状描述方法则主要采用基于边缘或轮廓的特征描述方法,如边界距离描述子(BCD)等。

       相比传统方法,深度学习方法具有更好的特征提取和匹配能力。主要包括基于卷积神经网络(CNN)的方法和基于循环神经网络(RNN)的方法。CNN主要用于特征提取和编码,RNN则主要用于时序建模和特征融合。近年来,一些基于深度学习的行人重识别方法已经取得了很好的效果,并成为了研究热点。


相关论文简介

Siamese网络

      作为目前行人重识别领域最经典的模型之一,Siamese网络(Taigman et al., 2014)通过将两张图像通过共享卷积网络映射到同一向量空间,然后计算他们之间的距离来进行行人重识别。

Triplet Loss

       Triplet Loss(Schroff et al., 2015)是另一种经典的行人重识别方法,它利用三元组(Anchor、Positive和Negative)的方式来学习特征表示。具体地,它鼓励不同身份的行人之间的距离要大于同一身份的行人之间的距离。

PCB

       Part-based Convolutional Baseline(Sun et al., 2018)是一种新型的行人重识别方法,它通过将行人图像分为多个部分来改善特征提取。具体地,它将行人图像分为多个部分,并且在每个部分上训练一个独立的分类器,最后将各个部分的特征拼接起来得到整个图像的特征。

MGN

      Multi-Granularity Network(Wang et al., 2018)是一种新型的行人重识别方法,它通过多尺度特征融合来提升特征表示的能力。具体地,它在网络中引入了不同感受野和不同分辨率的卷积层,并且在每个尺度上进行特征提取和表示学习。

DG-Net

       Deep Generalized Cross-Modal Embedding(Zhang et al., 2018)是一种基于交叉嵌入的行人重识别方法,它能够有效地处理不同摄像头之间的域间变化。具体地,它引入了一个字典网络和一个学习器网络,在两个不同域之间进行特征嵌入和对齐。

OSNet

       Omni-Scale Feature Learning for Person Re-Identification(Zhou et al., 2019)是一种新型的行人重识别方法,它通过全局和局部尺度的特征提取来提升特征表示的能力。具体地,它在网络中引入了多个分支,每个分支对应不同的感受野和不同的分辨率。

EANet

       Equal Attention Network(Liu et al., 2019)是一种新型的行人重识别方法,它引入了一种均等关注机制来平衡全局信息和局部信息的贡献。具体地,它将行人图像划分为多个部分,并且为每个部分引入一个注意力模块来学习全局和局部信息之间的权重分配。

Auto-ReID

       Auto-ReID: Searching for a Part-Aware ConvNet for Person Re-Identification(Li et al., 2019)是一种基于自动搜索的行人重识别方法,它通过自动搜索最优的卷积神经网络超参数来提升特征表示的能力。具体地,它利用强化学习算法搜索最优卷积神经网络结构和超参数,并且在行人重识别任务上进行训练和评估。

Mancs

        Mancs: A Multi-Task Attentional Network with Curriculum Sampling for Person Re-Identification(Liao et al., 2019)是一种新型的行人重识别方法,它引入了一种多任务学习和课程采样机制来同时处理不同难度级别的图像。具体地,它为每个身份引入一个分类任务,并且利用注意力机制和课程采样策略来提升特征表示的能力。

AFN

       Attention-aware Feature Aggregation Network for Person Re-Identification(Zhang et al., 2020)是一种新型的行人重识别方法,它引入了一种注意力机制来提升特征表示的能力。具体地,它在网络中引入了一个注意力模块,用于对不同尺度的特征图进行加权融合和特征聚合。


3.综合分析

1.研究方法

       以上10篇论文从不同角度切入,通过引入新的模型和方法来提升行人重识别的性能,这些方法包括共享权重网络、分部分特征提取、多任务学习、自动搜索超参数等。这些优秀的论文不仅提高了行人重识别的准确度,而且对计算机视觉领域的其他问题的解决也具有启迪意义。


2.研究结论

      随着计算机视觉技术的发展,行人重识别领域也在不断壮大。该领域的研究旨在实现通过视频监控系统对行人的追踪和识别。它可以在安保、交通管理、城市规划等领域中得到广泛应用。本文将回顾最近行人重识别领域的发展,总结相关技术和算法的优缺点,并提出下一步研究方向。

      近年来,深度学习技术已经成为行人重识别领域的主流技术。其中,卷积神经网络(CNN)是最常用的技术之一。这种方法能够从原始图像数据中自动地提取特征,从而实现准确的行人重识别。

      另外,基于度量学习的方法也逐渐受到关注。该方法使用一个距离度量函数来比较两个行人之间的相似性。常见的度量函数有欧几里得距离、曼哈顿距离、余弦距离等。其中,三元组损失函数是一种有效的度量学习方法,它通过挑选三张图片,让正样本和负样本之间的距离尽可能拉近,让负样本和正样本之间的距离尽可能拉远,从而实现更加准确的行人重识别。

       此外,基于一些先进的模型算法也已经被应用于该领域。例如,全卷积网络(FCN)可以在行人检测的同时实现精确的分割。这种方法能够将行人的轮廓与背景分离,从而提高行人重识别的准确性。

       不过,行人重识别领域仍然存在一些挑战。首先,由于数据集的不平衡性,导致识别结果不准确。其次,当出现遮挡、光照变化等情况时,行人重识别的成功率也会受到影响。因此,如何有效地解决这些问题是未来研究的重点。

       在未来,行人重识别领域的发展将会朝着以下方向进行:第一,研究如何利用大量标注的数据集来提高算法的识别准确率;第二,研究如何处理包含各种复杂因素的图像数据,如遮挡、光照变化等;第三,研究如何实现快速的行人重识别,以满足实时性的需求。

       综上所述,随着计算机视觉技术的不断进步,行人重识别领域也在不断发展。未来,我们相信该领域将会取得更加重大的突破,并为社会带来更多的实际应用场景。


4.讨论和建议

讨论

       本综述发现,目前行人重识别领域主要存在以下几个问题: 

       (1)数据量不足:大规模行人重识别数据集仍然很少,缺乏足够的样本数据限制了算法的发展和性能的提升; 

     (2)鲁棒性差:对于不同的视角、光照和遮挡等问题,当前的行人重识别算法还没有能够很好地解决; 

     (3)模型复杂度高:当前的深度学习模型通常需要大量的参数和计算资源,导致训练时间长、训练难度大,同时也限制了算法的推广和应用范围。

建议

       针对上述问题,可以提出以下建议: 

      (1)加强数据集建设:针对行人重识别领域的特点,建立更大规模、更多样化、更真实的数据集,以提高算法的鲁棒性和泛化能力; 

    (2)优化模型结构:研究更加轻量化、高效的模型结构和算法,以提高模型的训练速度和推理速度,同时也减少模型的参数和计算复杂度; 

    (3)利用多模态信息:行人重识别涉及多种信息,如颜色、纹理、形状、姿态等,可以结合多种信息进行联合识别,以提高识别准确率和鲁棒性; 

    (4)开展实际应用研究:将行人重识别技术应用于实际场景,如智能监控、安防等领域,并根据实际需求对算法进行优化和改进。


5.结论

总结

      目前,大多数现有的行人重识别算法只能在特定场景下实现较好的表现,而且受到光照、遮挡、拍摄角度等因素的影响较大。为了解决这些问题,近期的研究开始关注如何通过使用多尺度和多场景的信息来提高行人重识别的性能。

      基于深度学习和强化学习的行人重识别方法

      在过去的几年中,深度学习已经成为了计算机视觉领域的主流技术。许多行人重识别算法都基于深度卷积神经网络来实现特征提取和表示。最近,与传统深度学习方法相结合的强化学习技术也引起了研究者的兴趣。

       跨领域和跨摄像头的行人重识别

       由于不同摄像头之间的视野、分辨率和光照等因素的差异,跨领域和跨摄像头的行人重识别仍然是一个具有挑战性的问题。在近期的研究中,人们开始关注如何解决这些问题。

       总的来说,当前行人重识别领域的研究进展表明,人们正在尝试提出更加智能和灵活的方法来实现准确的行人重识别。未来,我们可以期待更多有创新性和实用性的解决方案的出现,并希望行人重识别技术能够在更多领域得到应用。

      结论重申

      本综述结论表明,行人重识别领域存在许多问题和挑战,需要不断研究和探索。针对现有问题,可以采取加强数据集建设、优化模型结构、利用多模态信息、开展实际应用研究等多种手段进行解决。

       研究意义强调

       行人重识别技术在智能监控、安防等领域具有广泛应用前景,本综述的研究意义在于为相关研究提供参考和指导,促进行人重识别技术的发展和应用。