机器学习互联网业务安全实践
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

2.1.1 范数

范数(norm)是一个函数,用来度量向量或者向量空间的大小和长度。在泛函分析与计算数学中,特别是在数值代数中,以及在研究数值方法的收敛性、稳定性及误差分析等问题时,范数都扮演着重要角色。在赋范线性空间中,范数的定义需要满足三个条件:非负性、齐次性和三角不等式。

我们先介绍向量范数,再来看矩阵范数的概念。

2.1.1.1 向量范数

定义 若V是数域P上的线性空间,而且对于V的任一向量img,若实值函数img满足如下条件:

(1)img�≥0img

(2)img

(3)img

则称img为向量范数,其中img表示n维向量空间。

向量范数是对向量大小的一种度量,可以形象地理解为向量的长度,比如向量到零点的距离,抑或相应的两个点之间的距离。

下面列出几个有代表性的n阶向量范数。

1.img

L1表示向量img各元素的绝对值之和。

2.img

img表示欧氏空间中的点到原点的距离,因此也称为欧氏(Euclidean)范数或者弗罗贝尼乌斯(Frobenius)范数。

3.img

可以看到L1、L2与Lp其实是相同的形式。

4.img

img表示向量img的元素中绝对值的最大值,称为无穷范数,也是一致范数(对于一个紧支撑的连续函数而言,它的一致范数可以理解为Lp意义下的范数的极限)。

如图2-1所示,Lp球显示了在三维空间中不同范数的直观含义。随着p值的递减,Lp所代表的空间大小也相应递减。

img

图2-1 Lp

实际上,范数不仅应用于n维向量空间,对于所有的赋范线性空间,范数的定义都成立。在后面介绍矩阵的相关理论时,我们还会讲到这个概念。

2.1.1.2 矩阵范数

定义 设imgimg矩阵,imgimg上的向量范数,imgimg上的向量范数,则定义矩阵范数为:

img

矩阵范数具有与向量范数相似的性质。二者的区别在于,向量范数的性质包含在定义的条件中。矩阵范数由于包含了向量范数的定义,因此有如下性质:

(1)img

(2)img

(3)img

(4)img

其中,imgimg矩阵,imgimg矩阵,img为实数,img

同样地,下面列出几个有代表性的n阶矩阵范数:

(1)img,称为列范数

(2)imgimg表示img的绝对值的最大特征值,img又被称为谱范数

(3)img,称为行范数

其中,矩阵img