论文题目： Me-Momentum: Extracting Hard Confident Examples from Noisily Labeled Data

论文作者：Yingbin Bai, Tongliang Liu

论文来源：ICCV-2021，中国计算机协会A类会议，DOI：10.1109/ICCV48922.2021.00918

接近决策边界的样本——作者称之为难样本，对于塑造准确分类器至关重要。但从训练数据中提取困难确信样本仍是较为困难的问题。在这篇文章中，作者提出了一种深度学习范式来解决这个问题，利用了深度神经网络的记忆效应来筛选样本。作者借鉴了物理学中的动量概念来提取包含非简单模式并且与不准确标记的样本纠缠在一起的困难确信样本。作者的想法是算法前一轮提取的确信样本可以用来学习一个更好的分类器，而更好的分类器也助于识别更困难的确信样本。作者将这种方法称为“记忆动量”（MeMomentum）。在基准模拟和真实世界的标签噪声数据上的实证结果说明了Me-Momentum提取难确信样本的有效性，利用记忆动量方法可以使模型具有更好的分类性能。

02

文献背景

实际应用中，带标签噪声的数据集是普遍存在的。如果不加注意，标签噪声将降低学习算法的性能。带有噪声标签的学习旨在减少标签噪声的副作用，因此已经成为机器学习中的一个重要主题。

提取具有干净标签的样本——确信样本是一种不依赖噪声转移矩阵的方法，与原始的带有噪声的训练数据相比，提取出的样本噪声较少，因此分类器具有更好的性能。在只有噪声数据的情况下，先进的方法利用了记忆效应来提取确信样本。深度神经网络首先会拟合具有干净标签的训练数据，然后逐渐拟合具有不正确标签的样本。但现有方法都没有研究如何从噪声数据中提取接近决策边界的难样本。

在这篇文章中，通过交替更新确信样本并完善分类器，作者提出了一种深度学习范式，能够从训练数据中提取困难确信样本，从而实现更好的分类性能。作者的想法类似于物理学中动量的运用，将分类器看作是在假设空间中移动的粒子，从确信的数据中获得加速度。通过正确利用之前提取的确信样本，可以实现具有更好性能的分类器。这类似于优化中使用的动量技巧，之前的梯度信息可以用来跳出局部最小值并实现快速收敛率。在高层次上，所提出的方法建立在深度神经网络的记忆效应和更好的确信样本将导致更好的分类器以及更好的分类器将识别出更好的确信样本（和困难的确信样本）的直觉之上。因此，所提出的方法被称为记忆动量（Me-Momentum）。

03

研究方法

作者提出的提取困难置信样本并提高分类性能的记忆动量方法，在高层次上，通过交替更新确信样本和完善分类器，Me-Momentum实现了一个正循环，即通过的确信样本获得更好的分类器，更好的分类器又反过来筛选出更好的确信样本。Me-Momentum有内外两个循环。在内循环中交替更新确信样本和分类器。在外循环重新初始化分类器，同时保持先前提取的确信样本，避免因内循环在先前分类器基础上继续训练而对于分类器初始化的严重依赖。

算法流程:

算法第一步，为正循环初始化一个用于初步选择确信样本的分类器，使用了早期停止的策略避免网络拟合错误样本，这种初始化利用了神经网络首先拟合干净数据的记忆效应。（有关记忆效应相关内容可以查看文献（Devansh Arpit, 2017），其中讲述了神经网络可以通过记忆强行拟合被随机标注的数据。（Zhang, 2017）讲述了网络总是优先拟合更为简单的真实模式，随后才是记忆更为复杂的噪声模式）

算法第二步，由于初始化的分类器是利用早期停止和记忆效应获得的，所以分类器主要拟合的是确信样本，因此可以认为标签与分类器预测结果相同的样本为确信样本。

算法第三步，利用先前的分类器的权重初始化网络，同时用上一步筛选出的确信样本训练分类器，这就实现了使用更好的训练样本来获得更好的分类器。

算法第四步，反复执行二三步，使不断筛选确信样本和优化分类器过程在验证精度不再提升时跳出。

算法第五步，利用随机初始化而非使用先前的权重初始化网络，使用先前筛选出的确信样本训练分类器，防止始终使用先前分类器的权重导致结果严重依赖初始化结果。

算法第六步，反复执行二到五步，在第五步中随机初始化的网络在训练后的验证精度不再提升时结束整个流程。

04

实验验证

在本节中，作者进行实验来展示所提出的Me-Momentum在MNIST、CIFAR10、CIFAR100和真实世界标签噪声数据集 Clothing1M上的有效性。在MNIST和CIFAR上，作者生成了类别相关和实例相关的标签噪声（相较于需要标签噪声与类别相关的噪声转移矩阵方法，Me-Momentum可以处理实例相关噪声） ，并可视化提取的困难确信样本，从而证明了Me-Momentum始终优于基线方法。

如图 1 所示，提取的确信样本的可视化。第一列和第三列是内循环第一次提取的确信数据；而第二列和第四列是外循环中提取的确信数据。绿色点表示第一轮中选定的数据。蓝色和红色点分别表示中间轮和最后一轮中新提取的数据。

在人工添加了不同程度的类相关噪声和实例相关噪声的 MNIST, CIFAR10,CIFAR100 上不同方法 分类准确率的均值和标准差 如表 1、 表 2、 表 3 所示。

在 Clothing1M 数据集上，作者将 Me-Momentum 与基线方法进行比较，结果如表 4 所示。 “clean” 和 “noisy” 分别表示验证数据集是干净的和带有噪声的。可以观察到 Me-Momentum 在带有噪声验证数据上表现良好，超过了许多使用干净验证数据的基线方法。为了公平比较，作者也使用 了 干净验证数据来验证作者的方法，在测试准确率方面取得了最高的 75.18% ，比 T-revision 高出 1% 、比 Joint Optim 高出 2.95% 。需要注意的是， Forward 和 T-revision 需要 5 万个干净数据来估计 噪声转移 矩阵，而 Me-Momentum 在训练过程中不需要任何干净数据。此外，为了展示 Me-Momentum 的鲁棒性，作者使用了从头开始训练的 ResNet-50 进行实验，它取得了第二高的准确率。

总结

这篇文章中，作者提出了一种名为Me-Momentum的方法，通过利用深度神经网络的记忆效应，能够从带有噪声标签的数据中提取困难的确信样本。作者通过分析提取样本的统计数据、可视化困难确信样本以及将其分类性能与先进的基线方法进行比较，从经验上验证了其有效性