文档介绍：数学专业论文逻辑回归初步 1 、总述逻辑回归是应用非常广泛的一个分类机器学****算法, 它将数据拟合到一个 logit 函数( 或者叫做 logistic 函数) 中,从而能够完成对事件发生的概率进行预测。 2 、由来要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点, 我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示: 线性回归能对连续值结果进行预测,而现实生活中常见的另外一类问题是,分类问题。最简单的情况是是与否的二分类问题。比如说医生需要判断病人是否生病, 银行要判断一个人的信用程度是否达到可以给他发信用卡的程度, 邮件收件箱要自动对邮件分类为正常邮件和垃圾邮件等等。当然,我们最直接的想法是,既然能够用线性回归预测出连续值结果,那根据结果设定一个阈值是不是就可以解决这个问题了呢?事实是, 对于很标准的情况, 确实可以的, 这里我们套用 Andrew Ng 老师的课件中的例子,下图中 X 为数据点肿瘤的大小, Y 为观测结果是否是恶性肿瘤。通过构建线性回归模型,如 hθ(x) 所示,构建线性回归模型后,我们设定一个阈值 ,预测 hθ(x) ≥ 的这些点为恶性肿瘤,而 hθ(x)< 为良性肿瘤。但很多实际的情况下,我们需要学****的分类数据并没有这么精准,比如说上述例子中突然有一个不按套路出牌的数据点出现,如下图所示: 你看, 现在你再设定 , 这个判定阈值就失效了, 而现实生活的分类问题的数据, 会比例子中这个更为复杂, 而这个时候我们借助于线性回归+ 阈值的方式, 已经很难完成一个鲁棒性很好的分类器了。在这样的场景下,逻辑回归就诞生了。它的核心思想是,如果线性回归的结果输出是一个连续值, 而值的范围是无法限定的, 那我们有没有办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输出结果是(0,1) 的一个概率值,这个问题就很清楚了。我们在数学上找了一圈,还真就找着这样一个简单的函数了,就是很神奇的 sigmoid 函数( 如下): 如果把 sigmoid 函数图像画出来,是如下的样子: Sigmoid Logistic Function 从函数图上可以看出, 函数 y=g(z) 在 z=0 的时候取值为 1/2 , 而随着 z 逐渐变小, 函数值趋于 0,z 逐渐变大的同时函数值逐渐趋于 1 ,而这正是一个概率的范围。所以我们定义线性回归的预测函数为 Y=W TX ,那么逻辑回归的输出 Y= g(W T X) ,其中 y=g(z) 函数正是上述 sigmoid 函数( 或者简单叫做 S 形函数)。 3 、判定边界我们现在再来看看,为什么逻辑回归能够解决分类问题。这里引入一个概念,叫做判定边界, 可以理解为是用以对不同类别的数据分割的边界, 边界的两旁应该是不同类别的数据。从二维直角坐标系中,举几个例子,大概是如下这个样子: 有时候是这个样子: 甚至可能是这个样子: 上述三幅图中的红绿样本点为不同类别的样本,而我们划出的线,不管是直线、圆或者是曲线, 都能比较好地将图中的两类样本分割开来。这就是我们的判定边界, 下面我们来看看,逻辑回归是如何根据样本点获得这些判定边界的。我们依旧借用 Andrew Ng 教授的课程中部分例子来讲述这个问题。回到 sigmoid 函数,我们发现: 当 g(z) ≥ 时,z≥ 0; 对于 hθ(x)=g( θ T X)≥ , 则θ TX≥ 0, 此时意味着预估 y=1; 反之,当预测 y=0 时, θ T X<0; 所以我们认为θ TX =0 是一个决策边界,当它大于 0 或小于 0 时,逻辑回归模型分别预测不同的分类结果。先看第一个例子 hθ(x)=g( θ 0+θ 1X 1+θ 2X 2) ,其中θ 0,θ 1,θ 2 分别取-3, 1,1 。则当? 3+X 1 +X 2≥0 时,y= 1;则X 1 +X 2 =3 是一个决策边界,图形表示如下,刚好把图上的两类点区分开来: 例1 只是一个线性的决策边界,当hθ(x) 更复杂的时候, 我们可以得到非线性的决策边界, 例如: 这时当 x 1 2 +x 2 2≥1 时,我们判定 y=1 ,这时的决策边界是一个圆形,如下图所示: 所以我们发现, 理论上说, 只要我们的 hθ(x) 设计足够合理, 准确的说是 g(θ Tx) 中θ Tx 足够复杂,我们能在不同的情形下,拟合出不同的判定边界,从而把不同的样本点分隔开来。 4 、代价函数与梯度下降我们通过对判定边界的说明,知道会有合适的参数θ使得θ Tx=0 成为很好的分类判定边界, 那么问题就来了, 我们如何判定我们的参数θ是否合适, 有多合适呢?更进一步, 我们有没有办法去求得这样的合适参数θ呢? 这就