文档介绍：非线性回归分析
现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。由于人们在传统上常把“非线性”视为畏途，非线性回归的应用在国内还不够普及。事实上，在计算机与统计软件十分发达的令天，非线性回归的基本统计分析已经与线性回归一样切实可行。在常见的软件包中（诸如SAS、SPSS等等），人们已经可以像线性回归一样，方便的对非线性回归进行统计分析。因此，在国内回归分析方法的应用中，已经到了“更上一层楼”，线性回归与非线性回归同时并重的时候。
对变量间非线性相关问题的曲线拟合，处理的方法主要有：
首先决定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决。
若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线。
若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。
可变换成线性的非线性回归
在实际问题中一些非线性回归模型可通过变量变换的方法化为线性回归问题。例如，对非线性回归模型
()
即可作变换：
将其化为多元线性回归模型。一般地，若非线性模型的表达式为：
()
则可作变量变换：
()
将其化为线性回归模型的表达式，从而用前面线性模型的方法来解决，其中式()中的xt 也可为自变量构成的向量。
这种变量变换法也适用于因变量和待定参数 bi 。如：
()
时上式两边取对数得：
()
现作变换：
()
则可得线性表达式：
()
利用前面方法确定了，并由得到的值。
变量变换的线性化方法可推广到下列形式的非线性模型：
()
其中x=（x1,x2,…,xp），而h（yt）、ci（bi）、gi（xt）则分别化为新的因变量、线性回归参数和自变量，即可归结为线性回归模型来解。。
典型的函数及线性化方法
函数名称
函数表达式
线性化方法
双曲线函数

幂函数

指数函数

对数函数

S型函数

当曲线的函数类型未确定时，我们常采用上述非线性模型作为其拟合曲线，即将自变量的各种初等函数的组合作为新自变量，用逐步回归法（或正交筛选法等）对新变量进行筛选，以确定一个项数不多的线性函数表达式。该方法对表达式形式没限制且精度要求不高的问题颇为有效。
多项式回归分析
在式()中，若取，则为多项式回归模型。由数学分析知识可知，一般函数都可用多项式来逼近，故多项式回归分析可用来处理相当广泛的非线性问题。
对观测数据（xt，yt）（t= 1，…，N），多项式回归模型为：
，t=1,2,L,N
令
，，，
则模型可表示为：
当X列满秩时，由前面的讨论知，其最小二乘估计为：
由此即可求得其多项式回归方程。但由于的计算既复杂又不稳定，故我们一般采用正交多项式法来进行多项式回归。
不可变换成线性的非线性回归分析
假设因变量y与自变量（x1，x2,…，xp）之间满足非线性模型：
()
其中，为未知参数，F为已知表达式，e 为误差项。
现将观察数据：
， t=1,2,L,N
代人式()得非线性回归模型：
， t=1,2,L,N
常记为：
其中，为y的观察向量，为非线性回归系数，E =为观察误差向量，F为未知参数的函数向量。非线性回归分析就是利用最小二乘准则来估计回归系数，即求使得残差平方和：

在处达到最小。
非线性回归分析一般用数值迭代法来进行，其共同特点是：由选定的初值出发，通过逐步迭代：
()
即选择适当的步长t ( >0 ) 及确定搜索方向向量D＝（D1，D2，…，Dm），使得：
()
再由取代，重复上述迭代过程，直至 Q(b)可认为达到最小值为止，即可将所得的作为其最小二乘估计，从而得到非线性回归方程

下降方向和步长的选择
首先考察的梯度向量（即导数）：

其中，为F的梯度矩阵。
为使迭代收敛到，其迭代公式应满足下降性质()。现考虑一元函数，它从出发以 D为方向的射线上取值。由复合求导公式得：

可以证明，当