文档介绍：会计学
1
逻辑回归
逻辑回归算法在实际过程中主要用于解决二分类问题，它跟Adaline 线性自适应算法很类似，主要是将线性函数的结果映射到sigmoid函数中，找到分类超平面
逻辑回归算法原理
第2页/共17页
我们知道，线性回归的公式如下：
其中，
被称作sigmoid函数，我们可以看到，Logistic Regression算法是将线性函数的结果映射到了sigmoid函数中。
第3页/共17页
二分类问题可以看成伯努利分布，因此对于输入x分类结果为类别1和类别0的概率分别为：
第4页/共17页
数学推导
极大似然估计
利用概率论中极大似然估计的方法去求解损失函数，首先得到概率函数：
因为样本数据(m个)独立，所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为：
取对数似然函数：
最大似然估计就是要求得使 l(θ) 取最大值时的 θ ，这里可以使用梯度上升法求解。我们稍微变换一下：
使损失函数最小
第5页/共17页
梯度下降法求J(θ)的最小值
求J(θ)的最小值可以使用梯度下降法，根据梯度下降法可得θ的更新过程：
α学****步长，下面来求偏导：
第6页/共17页
第7页/共17页
因此，方程式可以写成：
对应机器学****实战中，约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值：
第8页/共17页
Python代码实现
读取数据
第9页/共17页
梯度上升法
第10页/共17页