数值分析 学习笔记

WARNING

主要是跟着《工程数值分析引论》这本书的学习笔记，因为我数学水平不高，所以不会深入太多，也可能存在错误。

笔记供我自己复习使用。

第1章 绪论

经典学科介绍，这里我就略过不记了。

误差

真值=近似值+误差

换用更为数学的符号来表示。

误差用 表示，有

这里说的误差又名「绝对误差」。

绝对误差限（简称 误差限） 指的是 中的

相对误差 指的是 .

实际应用中， 也会被称为相对误差。

相对误差限：相对误差绝对值小于

误差传递公式

我想用另一个办法来进行推导（从梯度角度看）。

有 ，则绝对误差可以通过一阶泰勒展开：

向量的形式表达就是：

这个就是绝对误差的传递公式。（用一阶泰勒展开近似）

而相对误差的公式还要更进一步，算出

总的说要知道误差怎么算的，我一般是记 ，其中 是 关于 的函数。多一步记就是相对误差的 .

第2章 线性方程组的直接解法

这类方程组都能写成 的形式。

高斯消元

高斯消元是通过将方程通过行变换简化成同解但 为上三角矩阵的方程组。

化成上三角的过程是逐列进行的，从左到右逐列选择主对角线上的元素作为主元。

消元最简单的就是直接把其他行用行变换清零，这是经典的高斯消元法。

而另一种做法是，选择列绝对值最大的元素和主元行交换，成为新的主元，再去进行清零，这是 列选主元高斯消元法 。

此外还有 完全主元高斯消元法，在列选主元的基础上，比较的不是列元素的最大值，而是对应列元素和它同行元素绝对值最大的那个的比值，计算每个列元素的比值，然后选最大的那个作为主元，在清零。

LU 分解

LU 分解的办法是将 化为 ，然后进一步化为方程组：

而 L 和 U 分别是下三角和上三角，因此使用回代法就能解。

在 LU 分解中，如果 L 是单位下三角，U 是上三角，那么称为 Doolittle 分解。反之则是 Crout 分解。

矩阵能不换行进行 LU 分解的充要条件是矩阵是 严格对角占优 的，也就是每一行的对角线元素的绝对值严格大于该行中其他元素绝对值之和的矩阵。

Cholesky 分解 / 平方根法

Cholesky 分解是对对称正定矩阵进行加速求解的办法，利用对称正定的 性质来进行 LU 分解。

另外还有一种 Cholesky 变体，将其分解为 ， 是对角矩阵。

追赶法

追赶法是用来求对角矩阵的特殊 LU 分解。因为对角矩阵大部分都是 0 所以很多计算不用算。

第3章 线性方程组的迭代解法

范数

需要知道向量范数怎么算，向量范数相当简单：

• 1-范数：。
• 2-范数：
• -范数：

而矩阵范数变得复杂了很多，通常我们说的是向量引出的矩阵范数：

• F-范数：
• 1-范数： (单列绝对值和的最大值)
• 2-范数：
• -范数： (单行绝对值和的最大值)

迭代方法思路

把 化为 的形式，其中 就是迭代矩阵。

雅可比迭代： 高斯-赛德尔迭代：

还有另一种超松弛 SOR 迭代法，但是我懒得写。

收敛条件

充要条件是

充分条件：

• 严格对角占优
• 对称正定

误差估计

先验误差：

后验误差：

第4章 函数插值

插值方法

拉格朗日插值：

牛顿插值：

还有一种分段插值和三次样条插值，我也懒得写，他们都是分段插值方法。

误差估计

截断误差

第5章 最佳逼近

核心办法就是建立一个拟合曲线 ，然后根据 最小来进行逼近。

线性拟合

设曲线为 ，那么 .

要找到使 最小的 和 ，令 和 得到两个方程，建立起方程组。这个方程组就叫作正规方程组。

线性拟合的正规方程组如下：

第6章 数值积分

牛顿-柯特斯公式

的时候，得到的是矩形法则

的时候，得到的是梯形法则

的时候，得到的是辛普森法则 / 抛物线法

几种对应的误差是：

腐化求积

复化梯形公式

复化辛普森公式

龙贝格外推公式

懒得写。

第7章 非线性方程和方程组的数值解

非线性方程求解

二分法

用中值定理和零点定理来判断。

不动点迭代

根据压缩映射定理构造公式 迭代求解就行。

收敛的条件是 .

牛顿法

对 ，有迭代公式

二阶收敛，有重根的时候降为一阶。

重根可以使用 ，其中 为根重数。

割线法

对 ，有迭代公式

收敛阶为黄金分割率，1.618…

非线性方程组

懒得写

第8章 矩阵特征值问题的数值解

圆盘定理

以对角线元素 ​ 为圆心，以该行其他元素的绝对值之和为半径画圆。所有特征值都在这些圆盘的并集里。

比如说例子 ，第一个圆盘是，第二个圆盘是 .

幂法

做法很简单，随便给个向量 ，然后不断左乘矩阵 ，就让其拉伸到最大特征值对应的特征向量上。

这里用了归一化。

反幂法

反幂法用来求最接近 或者最小的特征值。通过对 进行左乘得到，实际上可以写成 进行迭代。

把这个看成方程组进行求解，解出 .