文档介绍：机器学****算法介绍CONTENTS目录机器学****原理支持向量机随机森林主成分分析Page3Page5Page17Page20Page32逻辑回归Page32K均值201机器学****原理机器学****是一门研究机器获取新知识和新技能,并识别现有知识的学问。这里所说的“机器”,指的就是计算机,电子计算机,中子计算机、光子计算机或神经计算机等等。3机器学****原理机器学****MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学****行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学****的原理是用一个或多个与数据分布最相近的数学模型来模拟、归纳、综合数据的分布和预测。机器学****是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。4LR(逻辑回归)逻辑回归首先,它不是一个回归模型,而是一个分类模型,它是被用来做分类的。之所以称之为回归,是因为它的学****模型是用模型的参数以最佳拟合已有的数据。(比如,根据已有的一些点,回归出它的直线参数的拟合过程,就称之为回归。)主要用途用于数据分类学****方法梯度上升法,随机梯度上升法。5LR(逻辑回归)模型特点优点:训练快、易理解、易实现 缺点:模型不够强大、拟合能力有限,欠拟合,对于复杂的任务效果不够好应用场景在二分类的模型中,我们能最希望的函数是一个二值化函数,也就是 h(x)=0当x>阈值,h(x)=1当x<阈值 。6LR(逻辑回归)二值化函数特点函数如图所示:7LR(逻辑回归)虽然二值化函数是我们很想学****到的函数,但是由于它在阈值点处的跳跃性(不连续性),使得它变得不好处理(比如在该点处没有导数(梯度)的问题)。 因此,我们用一个近似的函数来拟合这个函数,Sigmoid函数就是一个很好的近似函数 其函数表达式及图形如下所示(值阈(0–>1))8LR(逻辑回归)Sigmoid函数图形及表达式函数表达式为:相比于原始的二值化函数,sigmoid函数具有处处连续、可导的优点。9LR(逻辑回归)逻辑回归的实现为了实现逻辑回归,我们将每个特征都乘以一个回归系数wi,然后将结果相加得到一个值,并将这个值带入到sigmoid函数中,就会得到一个0–>1之间的数值,,。所以,逻辑回归也被称之为一个概率估计模型。在已经确定了逻辑回归的模型,问题就在于如何学****以获得最佳的回归系数?10