行人重识别能够辨识跨不同监控摄像头捕获的同一目标个体，在目标检索领域扮演着关键角色。尽管有些监督行人重识别方法已经取得了显著的进展，但其训练过程所需的数据标注工作成本昂贵。例如，文献[1]提高了模型在多数据集并行训练条件下的泛化能力；文献[2]提出了一种位置感知注意力模块，提升了行人重识别模型的准确性；文献[3]提出了一种姿态引导的特征增强模型。然而，这些方法缺少标签信息的指导，普遍未能达到与有监督方法相媲美的性能。在此背景下，单样本行人重识别因其仅需单个标记实例即可实现个体识别而展现出巨大潜力，不过仍面临着若干挑战。

首先，模型性能易受到标签噪声的负面影响。这些噪声可能源自不当的特征表达、错误的标签或具有局限性的聚类算法。例如，文献[4]通过单个密集连接卷积网络（DenseNet）生成基础学习器来缓解过拟合问题；文献[5]构建了自步不确定性估计网络，以捕捉图像各部分间的局部关系；文献[6]利用双重度量模块和关系模块计算样本相似度，从而获取无标签样本的类别。这些研究或集中于提升特征表示，或侧重于通过距离度量生成伪标签，但两者均可能引入训练过程中的标签噪声。

其次，不同置信度的伪标签样本在训练中往往被一视同仁，忽视了标签错误的可能性，从而限制了模型性能的进一步提升。例如，文献[7-8]都采用了最近邻（Nearest Neighboring，NN）方法进行伪标签的分配，导致伪标签与真实标签样本在训练中被同等对待；文献[9]利用多分支网络分别训练标签样本、无标签样本和伪标签样本，但对它们都进行了相同的分类和部件分割任务；文献[10] 采用了混合聚类策略来分配标签，以减少噪声的影响，但在模型训练过程中，未能有效区分标签样本和伪标签样本，导致在模型训练过程中被错误的标签样本误导。

因此，本文提出了一种标签置信度排序引导的多边学习算法。通过采用基于标签置信度的图像样本分类策略，对实例进行智能排序，并构建多边学习框架，将不同置信度级别的图像实例分别送入各个分支网络。借助标签置信度排序，实现在多个网络分支上的差异化训练，从而有针对性地优化训练结果。该算法旨在提升单样本行人重识别方法的鲁棒性和准确性，同时克服现有方法在处理标签噪声和伪标签置信度方面的局限性。

本文提出的单样本行人重识别框架如图 1所示。其中：Net1、Net2表示交互式均值教学（Mutual Mean Teaching，MMT）框架^[11]中的两个子网络；Mean Net1、Mean Net2分别为Net1和Net2的时间平均网络。

首先，输入一组图像，通过特征提取模块中的主干网络提取特征。然后，利用学习得到的权重对K-质心近邻（K-Centroid Nearest Neighboring，K-CNN）算法中的质心进行精细调整。接着，图像实例进入分层聚类模块进行伪标签的分配和标签置信度的排序。这一模块将图像实例按照标签赋值方式分为有标签分支损失（$L_{\text {labeled }}$）、K-CNN和基于密度的噪声应用空间聚类（Density-Based Spatial Clustering of Applications with Noise，DBSCAN）算法分配的伪标签数据的分支训练损失（$L_{\text {N＿labeled }}、L_{\text {D＿labeled }}$），以及噪声。除噪声外，网络将其余图像送入具有分支结构的网络。该识别网络由3个结构相同的子网络构成，都以MMT框架为核心。MMT框架根据每个分支处理的训练数据特性，设计了定制化的损失函数以进行网络训练。此外，为了优化特征表示的分布，引入了批距离损失和全局中心损失。最终，在模型优化阶段，伪标签分配所用的主干网络将被MMT框架中的最优主干网络替代。这一过程确保模型在训练过程中逐步提升其稳定性和性能。

本文引入分层聚类模块，实现图像的伪标签分配和标签置信度评定。分层聚类模块由KCNN和DBSCAN构成。令$V=\left\{x_{1}^{1}, \cdots, x_{i}^{1}, \cdots, x_{N}^{1}\right\}$包含$N$个标签数据，$U=\left\{x_{1}^{u}, \cdots, x_{j}^{u}, \cdots, x_{M}^{u}\right\}$包含M个无标签数据，其中x和i分别表示图像及其标签，j是无标签图像的索引。首先，对U内的数据开展K-CNN聚类。由于每个类别只有1个有标签样本，因此第i类的聚类中心c_i由唯一有标签样本初始化。然后，逐一计算聚类中心c_i与无标签图像$x_{j}^{\mathrm{u}}$之间的欧氏距离，得到$D= \left\{d_{11}, \cdots, d_{1 j}, \cdots, d_{1 M}, \cdots, d_{M N}\right\}$，则每个无标签图像可得到N个距离值。之后，将每个无标签图像$x_{j}^{\mathrm{u}}$的最近距离$d_{\hat{i j}}$存放在$\hat{D}$中，聚类由前K个与中心距离最近的无标签图像构成，标记为$x_{i k}, 1 \leqslant k \leqslant K$。这些无标签图像将被赋予与$x_{i}^{1}$相同的标签。这些标签被称为伪标签，由此完成一次K-CNN聚类。最后，利用学习权值β对聚类中心c_i进行微调，公式如下：

$\begin{equation*} c_{i}=\beta F\left(x_{i}^{1}\right)+(1-\beta) \frac{1}{K} \sum\limits_{k} F\left(x_{i k}\right) \end{equation*} $

(1)

式中：$F(\cdot)$——图像的特征函数。

K值将按以下规则在每个训练轮次（epoch）中逐步更新，公式如下：

$ K= \begin{cases}{\left[0.1 \times\left(e_{\mathrm{poch}}+1\right)+|U|\right], } & e_{\mathrm{poch}} <10 \gamma-1 \\ {[\gamma|U|], } & e_{\mathrm{poch}} \geqslant 10 \gamma-1\end{cases} $

(2)

式中：[·]——积分函数；

$e_{\text {poch }}$——训练轮次序号；

$\gamma$——预定义权重，$0 < \gamma < 1$。

由式（2）可以看出，在$e_{\text {poch }}=10 \gamma-1$后，K值将不再增加，因为随着模型训练的进行，模型将变得越来越稳定，因此不再需要通过增加样本数来提升其特征表示准确性。

K-CNN处理完成后，将对所有样本进行DBSCAN聚类。在完成K-CNN和DBSCAN聚类后，假设有l个离群点被当作噪声处理，则有（M−K−l）个样本是根据DBSCAN聚类的结果分配的伪标签。由此，所有参与训练的样本被分为4类：有标签数据、K-CNN伪标签赋值数据、DBSCAN伪标签赋值数据和噪声，它们的标签置信度递减。为了表示方便，将两种聚类后被分配伪标签的（M − l）个数据统一表示为$P= \left\{x_{1}^{\mathrm{p}}, \cdots, x_{i}^{\mathrm{p}}, \cdots, x_{M-l}^{\mathrm{p}}\right\}。$

利用标签置信度区分不同类别的样本，并分别将它们输入各个分支进行学习。在得到标签置信度排序后，采用三分支架构对其进行多边训练。3个分支分别处理标签样本、K-CNN伪标签样本和DBSCAN伪标签样本。所有分支都使用MMT网络进行身份识别，但它们的训练损失不同。总损失L是所有分支损失的总和，公式如下：

$ \begin{equation*} L=\frac{1}{\lambda_{1}} L_{\text {labeled }}+\frac{\alpha}{\lambda_{2}} L_{\mathrm{N} \_ \text {labeled }}+(1-\alpha) L_{\mathrm{D} \_ \text {labeled }} \end{equation*} $

(3)

式中：$\lambda_{1}, \lambda_{2}$——权重参数，表示不同损失的比例；

α——K-CNN和DBSCAN伪标签数据参与训练的程度。

MMT网络利用聚类生成的伪标签和在线优化形成的“软”伪标签进行联合训练，从而减轻伪标签中的噪声。其包含两个相似的子网Net1和Net2，每个子网都具有相同结构的特征提取主干，但采用不同的初始化参数，并随即产生不同干扰。分别对Net1和Net2的参数计算时间累计平均值，建立Mean Net1和Mean Net2。Mean Net1和Mean Net2的参数$\overline{\theta_{1}}$和$\overline{\theta_{2}}$公式如下：

$\left\{\begin{array}{l} \overline{\theta_{1}}=E^{\mathrm{T}}\left(\theta_{1}\right) \\ \overline{\theta_{2}}=E^{\mathrm{T}}\left(\theta_{2}\right) \end{array}\right. $

(4)

式中：$\theta_{1}, \theta_{2}$——Net1和Net2的参数；

$E^{\mathrm{T}}$（·）——计算时间累计平均值函数。

Mean Net1和Mean Net2通过相互监督生成更准确的特征和识别预测，这些预测和特征结果在训练过程中作为“软”伪标签使用。Net1和Net2输出交叉熵损失$L_{\text {cross－ety }}$和三元组难样本挖掘损失（TriHard损失）$L_{\mathrm{tH}}$；平均网络Mean Net1和Mean Net2输出软分类损失$L_{\text {soft－cft }}$和交叉熵三元组损失$L_{\mathrm{soft-tH}}$。由于在单样本行人重识别任务中每类只有1个有标签样本，因此本文在标签样本的分支网络中提出了批距离损失$L_{\mathrm{b}-\mathrm{dist}}$，以增加类间距离。此外，由于度量学习和表征学习相结合在行人重识别任务上的表现优于单一学习方法，因此有标签样本的损失$L_{\text {labeled }}$计算将同时包含分类损失和TriHard损失。具体公式如下：

$ \begin{align*} L_{\text {labeled }}= & \lambda_{1}\left(L_{\text {cross-ety }}+L_{\text {soft-cft }}+L_{\mathrm{tH}}+L_{\text {soft-tH }}\right)+ \\ & \left(1-\lambda_{1}\right) L_{\mathrm{b-dist}} \end{align*} $

(5)

在训练K-CNN聚类分配伪标签样本分支网络时，其分支训练损失$L_{\mathrm{N} \text {-labeled }}$不仅包括分类损失和TriHard损失，本文还提出一种全局中心损失$L_{\mathrm{g}-\text { center }}$，以减少同类样本的类内距离，其公式如下：

$ \begin{align*} L_{\mathrm{N}-\text { labeled }}= & \lambda_{2}\left(L_{\text {cross-ety }}+L_{\text {soft-cft }}+L_{\mathrm{tH}}+L_{\text {soft-tH }}\right)+ \\ & \left(1-\lambda_{2}\right) L_{\mathrm{g}-\text { center }} \end{align*} $

(6)

$L_{\text {D_labeled }}$被设计用于训练DBSCAN聚类伪标签样本。由于这一类样本远离样本中心，因此它们的伪标签置信度排名很低，这些伪标签反映的是聚类分布结果，而不是实际样本类别，从而可能导致错误的样本标签。因此，在这一类样本图像的分支训练中，只使用TriHard损失和交叉熵三元组损失，具体公式如下：

$ \begin{equation*} L_{\mathrm{D}-\text { labeled }}=L_{\mathrm{tH}}+L_{\mathrm{soft}-\mathrm{tH}} \end{equation*} $

(7)

批距离损失专门针对每一类别的唯一有标签样本设计，通过依靠样本的差异性使训练得到的识别模型更具判别力，因此考虑了批处理中不同类别之间所有样本的间隔距离。批距离损失$L_{\text {d-dist }}$被定义为

$ \begin{align*} L_{\mathrm{b}-\mathrm{dist}}= & {\left[\frac{1}{N_{\mathrm{B}}} \sum\limits_{x_{i}^{1} \neq x_{n}^{1}}\left\|F\left(x_{i}^{1} \mid \theta_{1}\right)-F\left(x_{n}^{1} \mid \theta_{1}\right)\right\|_{2}\right]^{-1}+} \\ & {\left[\frac{1}{N_{\mathrm{B}}} \sum\limits_{x_{i}^{1} \neq x_{n}^{1}}\left\|F\left(x_{i}^{1} \mid \theta_{2}\right)-F\left(x_{n}^{1} \mid \theta_{2}\right)\right\|_{2}\right]^{-1} } \end{align*} $

(8)

式中：N_B——批处理中的实例数；

$F\left(x_{i}^{1} \mid \theta_{1}\right), F\left(x_{i}^{1} \mid \theta_{2}\right)$——MMT中Net1和Net2提取的特征；

n——图像标签，与i取值范围相同，n≠i；

$\|\cdot\|$——L2范数。

传统中心损失^[12]使用的是每个批次（batch）的局部中心，不适合行人重识别的应用，因此本文提出了一种全局中心损失函数。全局类中心根据每个类的标签图像特征进行初始化，将MMT中Mean Net1和Mean Net2提取的特征融合计算得到图像的全局中心特征，公式如下：

$\begin{equation*} \boldsymbol{C}_{i}=\frac{1}{2}\left\{F\left[x_{i}^{\mathrm{l}} \mid E^{\mathrm{T}}\left(\theta_{1}\right)\right]+F\left[x_{i}^{\mathrm{l}} \mid E^{\mathrm{T}}\left(\theta_{2}\right)\right]\right\} \end{equation*} $

(9)

式中：$\boldsymbol{C}_{i}$——标签为i的图像x_i的全局中心特征；

$F\left[x_{i}^{\mathrm{l}} \mid E^{\mathrm{T}}\left(\theta_{1}\right)\right]$——MMT中Mean Met1和Mean Met2提取的特征。

受基于图的正预测（Graph-based Positive Prediction，GPP）^[13]的启发，采用内存模块将C_i存储在标签i对应的位置。在第1个轮次初始化后，每次迭代都会进行更新。

从第2个轮次开始，全局中心损失L_GC将被用于训练，其定义为

$ \begin{equation*} L_{\mathrm{GC}}=\frac{1}{N_{\mathrm{B}}} \sum\limits_{i=1}^{N_{\mathrm{B}}}\left\|\frac{1}{2}\left[F\left(x_{i}^{\mathrm{w}} \mid \theta_{1}\right)+F\left(x_{i}^{\mathrm{w}} \mid \theta_{2}\right)\right]-\boldsymbol{C}_{i}\right\|_{2} \end{equation*} $

(10)

式中：$x_{i}^{\mathrm{w}}$——由K-CNN聚类得到的伪标签样本；

$F\left(x_i^{\mathrm{w}} \mid \theta_1\right), F\left(x_i^{\mathrm{w}} \mid \theta_2\right)$——MMT中Net1和Net2提取的特征。

本文以影像网（imageNet）预训练的ResNet-50作为骨干网，在Market-1501^[14]、DukeMTMCreID^[15]和CUHK03^[16]这3个数据集上进行训练，并利用迁移学习进一步提高训练效果。由于DukeMTMC-reID包含的图像最多，因此在Market-1501和CUHK03上训练时，将DukeMTMC-reID作为源域。在DukeMTMCreID上训练时，将Market-1501作为源域。训练图像和测试图像都被调整为256´128像素大小。在训练过程中，利用Adam优化器（自适应矩估计优化器，AdaptiveMoment Estimation Optimizer）进行参数优化。设置权重衰减系数为0.000 5，丢弃值（dropout）为0.5，每个批次大小为16，学习率为0.000 35。

本文所提算法和其他算法的比较结果如表 1所示。其中，mAP、Rank-1（R1），Rank-5（R5）和Rank-10（R10）分别表示全类平均准确率、首位命中率、前5位命中率和前10位命中率。文献[6]仅对数据集中的部分数据进行了计算，因此用“*”表示样本差异性。

由表 1可以看出，除CUHK03数据集的Rank-1和Rank-5指标外，本文提出的标签置信度排名引导的多边学习算法在其他所有指标上都优于单样本行人重识别方法，表明该算法是有效的。该算法在伪标注过程中自适应更新聚类中心，避免了标注数据的偏差。此外，多注意力网络^[17]代表了有监督行人重识别方法的最优水平，而本文所提算法的性能结果与其相当接近，也证明了该算法的优越性。

实验的基础模型采用文献[7]提供的MMT模型。在此基础上，本文添加了不带聚类中心微调的标签置信度排序策略（Label Confidence Ranking Strategy，LCRS），记为LCRS（无中心微调）；加入聚类中心微调的LCRS，记为LCRS；批距离损失，记为BD Loss；全局中心损失，记为GC Loss。

Market-1501、DukeMTMC-reID和CUHK03这3个数据集的消融实验结果如图 2所示。其中，Rank-20表示前20位命中率，k在Rank-k指标中取值为1、5、10、20。

由图 2可以看出，在基础模型上加入不带聚类中心微调的LCRS后，3个数据集的mAP都有明显的提高，Market-1501的mAP从70.90% 提高到72.30%，DukeMTMC-reID的mAP从57.50% 提高到58.10%，CUHK03的mAP从65.80% 提高到69.60%。这是因为伪标注和伪训练同时考虑了距离和分布关系，在基础模型上加入聚类中心微调的LCRS后，3个数据集的mAP和Rank-1值又得到了进一步提升，说明伪标签偏差被有效抑制。进一步添加批距离损失后，3个数据集的mAP和所有精度等级指标Rank-k都持续得到了改进。“Baseline+LCRS+BD Loss”在3个数据集上的mAP值分别达到73.90%、60.70% 和70.10%。虽然在Market-1501和DukeMTMC-reID的Rank-1指标上，对基础模型3次改进的结果不是很大，但其有效缩短了训练周期，3次改进后达到相同精度时3个数据集所需轮次数分别为23（−1），31（−3），50（−3）。其中，−1、−3表示比之前的方法所需轮次数分别减少了1和3。最后，在此基础上，模型采用全局中心损失补偿特征与中心之间的距离后，3个数据集的训练轮次数大大减少，分别为19（−4）、27（−4）和40（−10）。其中，−4、−10表示比之前的方法所需轮次数分别减少了4和10。mAP和Rank-k（k=1，5，10，20）也都有很好的表现。

Market-1501、DukeMTMC-reID和CUHK03这3个数据集的mAP和Rank-k随权重γ取值的变化情况如图 3所示。

由图 3可以看出，无论是从mAP还是Rank-k（k=1，5，10，20）的角度来看，模型的性能指标都随着权重γ的增加而增加。γ增加至0.9结束。若其值为1，则K-CNN将对所有21个未标记的数据进行距离评估，这将带来噪声。因此，γ=0.9时，模型达到最优。

不同算法的样本可视化特征分布如图 4所示。其中，每种颜色代表一种类别样本特征。由图 4可以看出，与原始特征分布以及不包含批距离损失和全局中心损失的样本特征分布相比，本文所提算法实现的样本分布能够更好地将样本区分开来，从而提高样本分类的准确性。

在半监督行人重识别领域，单样本行人重识别问题因存在标签噪声以及非精细化训练手段，尚未得到深入探究。鉴于此，本文提出了一种创新的多边学习框架，由标签置信度排序引导，旨在实现生成伪标签后进行高效的特征学习。在3个权威数据集上的实验结果表明，本文所提算法在性能上超越了大多数现有算法。同时，该算法的时间复杂度较低，在实际应用中具有高效性。本文的研究发现不仅为单样本行人重识别领域提供了新的解决方案，也为半监督学习领域提供了可借鉴的思路。