文档介绍：摘要
传统的机器学****分类算法大多需要满足训练数据和测试数据服从相同分布的条件,根据已有的标记样本建立分类模型,对测试样本进行分类预测。但是在实际情况中,这样的同分布假设往往无法得到满足,当数据分布发生改变时,就会导致学****到的模型无法很好的应用到测试数据上,于是传统的机器学****算法需要从零开始,重新标注大量的训练数据,但是标注新数据需要耗费大量的财力、人力及物力,若丢弃掉那些大量的不同分布下的过期的训练数据也造成了资源的浪费。这时,迁移学****变得尤为重要,因为它可以从一个任务的数据中获取知识, 来帮助新任务的学****br/>迁移学****是一种新的机器学****框架,旨在将一个环境中的知识应用到新环境的领域与任务中。因此,迁移学****不需要服从数据同分布假设的条件。本文将较全面的介绍迁移学****的研究概况,并结合集成学****对迁移算法做了如下的研究: (1) 提出了选择性集成迁移学****算法。根据目标域有标记样本的信息,对源域进行初步的筛选,然后对筛选后的源域进行随机采样获取 N 个源域子集,由它
们在目标域训练样本上的经验误差进一步筛选源域子集,最终将选取的源域训练子集分别与目标域训练样本组合成相应的多个训练集,训练分类器并对目标域测试数据集多数投票预测。该算法充分利用了源域中的有用信息及多样性,通过训练集的重组,提高目标域训练样本在训练集合中的贡献率,取得了一定的效果。(2) 提出了基于维数约简的集成迁移学****算法。对于特征维数庞大的样本分类,如果对特征进行降维,可以降低源域与目标域之间的差异性,更好地迁移源域的标签信息,同时可以降低算法的时间复杂度。新算法通过将源域数据进行 Boostrap 采样 T 遍,并与目标域测试数据结合成对应的 T 个数据集,通过对每个数据集分别进行 SVD 维数约简,在对应的各个低维空间中,分别由 K 近邻预测目标测试数据,最终再集成投票。结合了集成和降维后,新算法表现出比较好的性
能。
(3) 提出了基于半监督的集成迁移学****算法。前两个算法都是通过有标记的训练数据建立模型,然后用于预测测试数据。通过引入了目标领域中的无标记样本参与训练,采用半监督自训练模式,并利用动态数据集重组集成思想,提出一种新的半监督的集成迁移算法,在剪切源域中差异性大的样本的同时,添加目标域无标记样本扩充目标训练样本集,与一些迁移算法相比,分类效果有一定的提高。
关键词:迁移学****集成学****选择性维数约简半监督
II 选择性集成迁移算法研究
Abstract
Most of traditional machine learning algorithms are based on the assumption that the training and test data must be in the same feature space and follow the same distribution. Use the existing marked training sample to set up classification model,and predict the test data by this model. But in fact, this assumption with the same distribution often cannot be satisfied, when the data distribution change, it may cause that the learned model cannot apply to test data very well, in such case, the traditional machine learning algorithms need to start from scratch, mark a large number of training data again , which is very expensive and time-consuming. This leaves plenty of labeled examples that are under a similar but different distribution, which is a waste throw away entirely. In this situation, transfer learning es important to take the role of lever- aging these existing data knowledge.
Transfer learning, as a new learning framework, aims at buil