矩阵范数

考虑从矢量空间${\displaystyle V=\mathbb {K} ^{m}}$映射到${\displaystyle W=\mathbb {K} ^{n}}$的所有线性映射的构成的空间：${\displaystyle {\mathcal {L}}_{m,n}(\mathbb {K} )}$。设${\displaystyle V}$和${\displaystyle W}$中分别装备了两个矢量范数${\displaystyle \|\cdot \|_{V}}$和${\displaystyle \|\cdot \|_{W}}$，则可以定义${\displaystyle {\mathcal {L}}_{m,n}(\mathbb {K} )}$上的算子范数${\displaystyle \|\cdot \|_{\mathcal {L}}}$：

${\displaystyle \forall A\in {\mathcal {L}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {L}}=\max\{\|A(x)\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}}$。

而给定了基底后，每个从${\displaystyle V}$映射到${\displaystyle W}$的线性映射都可以用一个${\displaystyle m\times n}$的矩阵来表示，所以同样地可以定义${\displaystyle {\mathcal {M}}_{m,n}(\mathbb {K} )}$上的非负映射${\displaystyle \|\cdot \|_{\mathcal {M}}}$：

${\displaystyle \forall A\in {\mathcal {M}}_{m,n}(\mathbb {K} )\|A\|_{\mathcal {M}}=\max\{\|Ax\|_{W}\;;\;\;x\in V,\;\;\|x\|_{V}\leqslant 1\}}$。

可以验证，${\displaystyle \|\cdot \|_{\mathcal {M}}}$满足矩阵范数的定义，因此是一个矩阵范数。这个矩阵范数被称为是由矢量空间范数诱导的矩阵范数，可以看作是算子范数在由有限维矢量空间之间线性映射组成的空间上的特例。如果${\displaystyle m=n}$，所对应的矩阵空间就是${\displaystyle n}$阶方块矩阵空间${\displaystyle {\mathcal {M}}_{n}(\mathbb {K} )}$。这时可以验证，诱导范数${\displaystyle \|\cdot \|_{\mathcal {M}}}$满足一致性条件。

当${\displaystyle V}$和${\displaystyle W}$中装备的矢量范数都是${\displaystyle p}$-范数的时候，诱导的矩阵范数也称为矩阵的诱导${\displaystyle p}$-范数。具体来说就是：

${\displaystyle \left\|A\right\|_{p}=\max \limits _{x\neq 0}{\frac {\left\|Ax\right\|_{p}}{\left\|x\right\|_{p}}}=\max \limits _{x\neq 0}{\frac {\left(\sum _{i=1}^{m}|\sum _{j=1}^{n}a_{ij}x_{j}|^{p}\right)^{1/p}}{\left(\sum _{j=1}^{n}|x_{j}|^{p}\right)^{1/p}}}}$。

在${\displaystyle p=1}$和${\displaystyle p=\infty }$的情况下，其范数可以以下方式计算：

${\displaystyle {\begin{aligned}&\left\|A\right\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|\\&\left\|A\right\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|\end{aligned}}}$

这些与矩阵的Schatten p-范数不同，也可以用${\displaystyle \left\|A\right\|_{p}}$。来表示。

当p = 2（欧几里德范数）时，诱导的矩阵范数就是谱范数。矩阵A的谱范数是A最大的奇异值或半正定矩阵A^*A的最大特征值的平方根：

${\displaystyle \left\|A\right\|_{2}={\sqrt {\lambda _{\text{max}}(A^{*}A)}}}$

其中A^*代表A的共轭转置。

任何诱导的矩阵范数都满足此不等式

${\displaystyle \left\|A\right\|\geq \rho (A),}$

其中ρ(A)是A的谱半径。事实上，可以证明ρ(A)是A的所有诱导范数的下界。

此外，我们有

${\displaystyle \lim _{r\rightarrow \infty }\|A^{r}\|^{1/r}=\rho (A)}$。

这些矢量范数将矩阵视为${\displaystyle m\times n}$矢量，并使用类似的矢量范数。

举例说明，使用矢量的p-范数，我们得到：

${\displaystyle \Vert A\Vert _{p}={\Big (}\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}{\Big )}^{1/p}\ }$

注：不要把矩阵元p-范数与诱导p-范数混淆。

对p = 2，这称为弗罗贝尼乌斯范数（Frobenius norm）或希尔伯特-施密特范数（Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个范数可用不同的方式定义：

${\displaystyle \|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} (A^{{}^{*}}A)}}={\sqrt {\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{2}}}}$

这里A^*表示A的共轭转置，σ_i是A的奇异值，并使用了迹函数。弗罗贝尼乌斯范数与Kⁿ上欧几里得范数非常类似，来自所有矩阵的空间上一个内积。

弗罗贝尼乌斯范数是服从乘法的且在数值线性代数中非常有用。这个范数通常比诱导范数容易计算。

极大值范数是p=∞的元素范数，

${\displaystyle \|A\|_{max}=\max\{|a_{ij}|\}}$。这个范数不服从次可乘性（sub-multiplicative property）。

Schatten范数出现于当p-范数应用于一个矩阵的奇异值矢量时。如果奇异值记做σ_i，则Schatten p-范数定义为

${\displaystyle \|A\|_{p}={\Big (}\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}^{p}{\Big )}^{1/p}\ }$

这个范数与诱导、元素p-范数使用了同样的记号，但它们是不同的。

所有Schatten范数服从乘法。它们也都是酉不变的，这就是说||A|| = ||UAV|| 对所有矩阵A与所有酉矩阵U和V。

最常见的情形是p = 1, 2, ∞。p = 2得出弗罗贝尼乌斯范数，前面已经介绍过了。p = ∞得出谱范数，这是由矢量2-范数诱导的矩阵范数（见下）。最后，p = 1得出迹范数(核范数)，定义为

${\displaystyle \|A\|_{\text{tr}}=\operatorname {trace} ({\sqrt {A^{*}A}})=\sum _{i=1}^{\min\{m,\,n\}}\sigma _{i}}$。

对矩阵${\displaystyle A\in \mathbb {R} ^{m\times n}}$如下不等式成立[1][2]：

• ${\displaystyle \|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {n}}\|A\|_{2}}$
• ${\displaystyle \|A\|_{\text{max}}\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\text{max}}}$
• ${\displaystyle {\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }}$
• ${\displaystyle {\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}}$

这里，||·||_p表示由矢量p-范数诱导的矩阵范数。

矢量范数之间另一个有用的不等式是

${\displaystyle \|A\|_{2}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}}}$。