文档介绍：------------------------------------------------------------------------------------------------ ——————————————————————————————————————深度迁移度量学****1 、引言如何设计良好的相似性函数在许多计算机视觉和模式识别任务中发挥重要作用。通常, 给定视觉问题的最佳相似度函数是任务特定的, 因为不同任务的基础数据分布通常是不同的。机器学****的最新进展表明,比 hand-crafed 距离度量,直接从一组训练示例样本学****距离度量通常可以实现提出的性能要求。近年来, 在文献中提出了各种度量学****算法,其中一些已成功应用于视觉分析应用,如面部识别, 图像分类,人类活动识别,人物重新识别和视觉搜索。现有的度量学****方法可以主要分为两类: 无监督和监督。对于第一类别, 学****低维子空间或 mainfold 以保留样本的几何信息。对于第二类别,学****辨别距离度量以最大化来自不同类别的样本的可分离性。由于使用训练样本的标签信息, 监督度量学****方法更适合于识别任务。尽管近年来已经提出了许多监督度量学****算法, 但是这些方法仍然存在两个缺点: 1) 它们中的大多数通常是寻求单个线性距离来将样本变换为线性特征空间, 这使得样本的非线性关系不能被充分利用。即使核方法可以用于解决非线性问题, 这些方法仍然存在可扩展性问题, 因为它们不能获得显式非线性映射函数; 2) 大多数人假设训练样本和测试样本是在类似的情景中捕获的, 因此假设它们的分布是相同的。这个假设在许多真实的视觉识别应用中不成立, 特别是当在不同的数据集中捕获样本时。------------------------------------------------------------------------------------------------ ——————————————————————————————————————图1 提出的 DTML 方法的基本思想。对于来自源域和目标域的训练集中的每个样本, 我们将其迁移到开发的深层神经网络。我们对网络顶部的所有训练样本的输出执行两个约束: 1) 类间变化被最大化, 并且类内变化被最小化 2) 在网络的顶层的源域和目标域之间的分布散度被最小化。我们的方法通过将区分性知识从标记的源域传输到未标记的目标域来学****一组分层的非线性变换, 在该目标域下, 类间变化被最大化并且类内变化被最小化, 同时最小化网络的顶层处的源域和目标域之间的分布散度。为了更好地利用来自源域的判别信息, 我们进一步开发了深度监督的迁移度量学****DSTML ) 方法, 通过在 DTML 中包括附加的目标, 其中隐藏层和顶层的输出被联合优化。交叉数据集的人脸验证和人员重新识别的实验结果证明了所提出的方法的有效性。 2 、相关工作迁移学****迁移学****旨在解决来自源域的训练数据的分布与目标域的分布不同时的问题。在过去几十年中, 已经提出了各种迁移学****算法,并且它们可以主要分为两类:基于实例的 3、 DTML 符号设其中是 d 维特征向量,是源域中的训练集,其包含是的标签,个例子,是类的数量。类似地,我们表示------------------------------------------------------------------------------------------------ ——————————————————————————————————————中是集合中的样本数,是的标签。令或来自源域和目标域是目标域中的训练样本,其是的样本。在我们的实验标记训练集,其包含仅来自源域中, 我们考虑挑战性情况, 其中标记的训练集合仅从源域采样并且没有从目标域获得标记的训练集合。 深度度量学****以前的度量学****通常寻求一个线性距离将样本转换为线性特征空间, 与大多数以前的度量学****方法不同, 我们构造一个深度神经网络, 通过将每个样本 x 迁移给多层非线性变换来计算每个样本 x 的表示,如图 2。图2 我们的方法中使用的是网络架构。网络的输入是 x, 隐藏层和顶层的输出分别为 h(1 )和 h(2) ,这里, W(m )和 b(m )是要学****的网络的参数, 1≤m≤2。使用这样的网络来映射 x 的主要优点是可以明确地获得非线性映射函数。假设在设计的网络中存在 M+1 个层, 在第 m 层中存在 p (m )个单元,其中 m= 1,2 , ...,M 。在第 m 层的 x 的输出计算为: 其中和是该层参数的权重矩阵和偏差; 并且φ是在分量方面操作的非线性激活函数, 诸如广泛使用的 tanh 或 sigmoid 函数。非线性映射( fm ): 我们