文档介绍：数学专业论文逻辑回归初步仁总述逻辑回归是应用非帘广泛的一个分类机器学****算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。2、由来要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都冇一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示:1098165432100 12 3 4线性回归能对连续值结果进行预测,而现实生活中常见的另外一类问题是,分类问题。最简单的情况是是与否的二分类问题。比如说医生需耍判断病人是否生病,银行要判断一个人的信川程度是否达到町以给他发信用卡的程度,邮件收件箱要自动对邮件分类为正常邮件和垃圾邮件等等。当然,我们最直接的想法是,既然能够川线性回归预测出连续值结果,那根据结果设定一个阈值是不是就可以解决这个问题了呢?事实是,对于很标准的情况,确实可以的,这里我们套川AndrewNg老师的课件中的例了,下图中X为数据点肿瘤的大小,丫为观测结果是否是恶性肿瘤。通过构建线性凹归模烈,如h8(x)所示,构建线性回归模烈后,,预测h6(x)>,而h6(x)<。但很多实际的情况下,我们需要学****的分类数据并没有这么楮准,比如说上述例子中突然有一个不按套路出牌的数据点出现,如下图所示:TumorSizeMalignant?你看,,这个判定阈值就失效了,而现实生活的分类问题的数据,会比例子中这个更为复朵,而这个吋候我们借助于线性回归+阈值的方式,已经很难完成一个鲁棒性很好的分类器了。在这样的场景下,逻辑回归就诞牛了。它的核心思想是,如來线性回归的结果输出是一个连续值,而值的范围是无法限定的,那我们冇没冇办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输岀结來是(0,1)的一•个概率值,这个问题就很清楚了。我们在数学上找了一圈,还真就找着这样一个简单的函数了,就是很神奇的sigmoid函数(如下):如果把sigmoid函数图像画出来,是如I、•的样子:••••••••••••X•ht-tp://bla(/rpqHnnp*1/ • •• ••r■…/ JSigmoidLogisticFunction从函数图上可以看出,函数尸g(z)在z二0的时候取值为1/2,M随着z逐渐变小,函数值趋于0,z逐渐变大的同吋函数值逐渐趋丁“,而这止是一个概率的范围。所以我们定义线性回归的预测函数为Y二W^X,那么逻辑回归的输出Y二g(WTx),其小y=g(z)函数正是上述sigmoid函数(或者简单叫做S形函数)。3>判定边界我们现在再來看看,为什么逻辑回归能够解决分类问题。这里引入一个概念,叫做判定边界,可以理解为是用以对不同类别的数据分割的边界,边界的两旁应该是不同类别的数据。从二维直角坐标系中,举儿个例子,人概是如F这个样子:有吋候是这个样子:甚至可能是这个样子:♦ 。。甌30°0°上述三幅图中的红绿样本点为不同类别的样本,而我们划出的线,不管是直线、圆或者是曲线,都能比较好地将图中的两类样木分割开來。这就是我们的判定边界,下而我们來看看,逻辑凹归是如何根据样本点获得这些判定边界的。我们依I口借用AndrewNg教授的课程屮部分例了来讲述这个问题。凹到sigmoid函数,我们发现:当g(z)>,z>0;对于he(x)=g(9TX)>,则eTX>0,此时意味着预估y二1;反Z,当预测y=0时,0TX<O;所以我们认为『X=0是一个决策边界,当它大于0或小于0时,逻辑回归模型分别预测不同的分类结果。X2X2先看第一个例子h0(x)=g(eo+6iX1+02X2),其中000102分别取-3,1,1o则当-3+X1+X2>0时,y=1;则X1+X2二3是一个决策边界,图形表示如下,刚好把图上的两类点区分开来:/2^例1只是一个线性的决策边界,当h8(x)更复杂的时候,我们对以得到非线性的决策边界,例如:朮(对=g(%+弘龙1+%龙2+0:朋+%诚)这时当x12+x22>1时,我们判定y二1,这时的决策边界是一个圆形,如下图所示:准确的说是g但Tx)中0Tx所以我们发现,理论上说,只要我们的he(x)设计足够合理,足够复杂,我们能在不同的情形卞,拟合出不同的判定边界,从而把不同的样本点分隔开來。4、代价函数与梯度下降我们通过対判定边界的说明,知道会有合适的参数e使得8Tx二0成为很好的分类判定边界,那么问题就来了,我们如何判定我们的参数。是否合适,有多合适呢?更进一步,我们有没有办法去