非线性最小二乘法
非线性最小二乘法是非线性形式的最小二乘法,用包含n个未知参数的非线性模型拟合m个观测值(),可用于某些形式的非线性回归。该方法的基础是使用线性模型近似并通过连续迭代来优化参数。它与线性最小二乘法既有相同之处、也有一些显著差异。
统计学系列条目 |
迴歸分析 |
---|
模型 |
|
|
估计 |
|
背景 |
|
理论
考虑一组共个数据点以及曲线(模型函数)。该曲线同时取决于x与共n个参数(满足)。目标是找到在最小二乘意义上与数据点拟合最好的曲线所对应的参数,即最小化平方和
其中残差ri的定义为
S取最小值时的梯度为零。由于模型包含n个参数,因此可得到n个梯度方程:
在非线性系统中,偏导数同时是自变量x和参数的函数,因此这些梯度方程通常没有封闭解。因而必须为参数选择初始值用以迭代求解。迭代表达式为
其中,k是迭代次数,则是偏移向量。每次迭代时,使用关于的一阶泰勒级数展开以线性化模型:
雅可比矩阵J是常数、自变量与参数的函数,因此每次迭代时的J并不固定。对线性化模型而言,
残差的表达式则为
将上述表达式代入梯度方程,可以得到
以上方程可化简为n个联立的线性方程,称为正规方程(normal equations):
正规方程可用矩阵表示法写成
上述方程是使用高斯-牛顿算法求解非线性最小二乘问题的的基础。
需要注意的是雅可比矩阵定义中导数的符号约定。某些文献中的J可能与此处的定义相差一个负号。
参见
- 曲线拟合
- 灰箱模型
- 非线性规划
- 非线性回归
- 最优化
- 莱文伯格-马夸特方法
参考文献
- Kelley, C. T. (PDF). SIAM Frontiers in Applied Mathematics no 18. 1999 [2023-03-05]. ISBN 0-89871-433-8. (原始内容存档 (PDF)于2023-03-29).
- Strutz, T. 2nd. Springer Vieweg. 2016. ISBN 978-3-658-11455-8.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.