机器学习互联网业务安全实践
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

2.2.2 线性算子

前面提到,线性算子是用来研究线性空间之间的关系的。为了了解抽象的线性算子如何在具体的线性空间上发挥作用,本节在线性算子概念的基础上,重点介绍它的特殊情况——线性变换。

2.2.2.1 线性空间上的线性算子

算子是连接矩阵与线性空间的桥梁,是研究线性空间关系的主要工具。

1.算子 算子是高数中函数映射概念的推广。

定义 设imgimg为两个集合,对于每个img,若根据某种法则img,在img中有确定的img与之对应,则称imgimgimg的一个映射,或称算子,记为img:img

2.线性算子

定义 设imgimg为数域P上的两个线性空间,imgimgimg的一个算子,且imgimg

img
img

则称img是由imgimg线性算子(或线性映射)。这也是我们通常所说的线性的含义。

以下是一些常见的算子。

1.img

其中,imgimg矩阵。显然,此处img是一个线性算子。

2.零算子

它将线性空间img中的每一个向量映射成线性空间img中的零向量,该算子记作:img。容易验证,它是一个线性算子。

3.数乘算子

任意img数域img上的线性空间img到自身(img)的一个算子:img叫作V上的由数k决定的数乘算子。容易验证,img也是一个线性算子。

4.线性空间img中,微分算子是一个线性算子img

5.imgimg是由img到实数集img的一个算子,但不是线性算子。

2.2.2.2 同构

imgimgimg的线性算子,而且是“一对一”的,即每个原像映射为唯一像,则称imgimgimg间的一个同构算子

定义 若imgimg之间存在同构算子,则称imgimg同构的线性空间,简称imgimg同构。

同构有如下一些性质:

● 同构的线性空间中,线性相关向量对应于线性相关向量,线性无关向量映射为线性无关向量。

● 数域P上两个有限维线性空间同构的充要条件是两个空间的维数相等。

● 数域P上的任何n维线性空间img都与特殊的线性空间img同构。

因此,引入同构的概念给研究抽象的线性空间img带来了极大的便利,即使img代表不同的线性空间,其元素可能完全不同,但利用同构的关系,都可以将img中的问题通过基转换到线性空间img中进行研究。

2.2.2.3 线性算子的表示

前面讲过,线性空间上的向量可以用坐标来表示,那么抽象的线性算子是否也能同具体的数发生联系呢?答案是肯定的。

1.基像

定义 设imgn维线性空间img的一组基,img是由imgm维线性空间img的线性算子,则img在算子img下的基像

● 设img是由imgimg的两个线性算子,如果img,则称线性算子imgimg相等

● 由imgimg的线性算子,由基像img唯一确定。也就是说,确定一个线性算子,并不需要把线性空间中的所有向量在线性算子下的像都找出来,而只需要确定其基像,就可以完全确定线性算子。

2.矩阵表示

定义 imgimgimg的一个线性算子,imgimg的一组基,img作为img的一组基(称它们为基偶)。由于线性算子img由基像img唯一地确定,且它们属于img,故可令

img

矩阵img称为线性算子img在基偶{img}与{img}下的矩阵表示

imgn维线性空间img的一组基,imgm维线性空间img中的任意n个向量,则存在唯一一个线性算子img,把img映射为img

2.2.2.4 线性算子的运算

线性算子运算中的一些基本概念如下:

1.img表示同一数域P下从一个线性空间到另一个线性空间的所有线性算子组成的集合。

2线性算子的和 设img,若有img,则称imgimgimg的和。若img,则img

3线性算子的乘积 img,若有imgimg,则称imgimgimg乘积,显然它是imgimg的算子。

4.线性算子的和与乘积仍然为线性算子。

在线性代数中,矩阵是表示线性方程组的一种简便形式img,其中img。从线性算子的角度来理解,它的解(集)可以看成是在imgimg的线性算子img下,向量img的原像。特别地,齐次线性方程组img的解(集)恰好是线性算子img为“零点”的原像。

2.2.2.5 线性变换与方阵

imgimg相等的情况下,有一种特殊的变形算子的变换,这时候有一系列特殊的命名,如下所述。

1线性变换 由imgimg的线性算子img上的线性变换。

2恒等变换 如果imgimg,则称img恒等变换单位变换,记为img。与之对应的矩阵为单位矩阵imgimg

3线性变换的和 线性空间img中的两个线性变换imgimg它们的和img,则

img

(1)线性变换的加法满足交换律和结合律。

(2)线性变换的乘法满足结合律。

(3)线性变换的乘法对加法有左、右分配律。

4逆变换 img,则称imgimg的逆变换,记作img

5.如果一个线性变换可逆,则其逆变换也是线性变换。

 在img维线性空间img中,求导运算img是一个线性变换,在img中分别取两组不同的基(此处是多项式):

(1)img

(2)img

img在两种不同基下的矩阵如下:

img
img

2.2.2.6 相似矩阵的几何解释

我们知道,同一向量在不同基下的坐标往往不同,而同一线性变换在不同基下的矩阵也不同。那么,同一线性变换在不同基下的矩阵之间有什么关系呢?下面我们从几何上解释矩阵相似的问题。

定理 设线性空间img上的线性变换img对于基img下的矩阵为img,在另一组基img下的矩阵为img,而且从基img到基img的过渡矩阵为img,则有B = C-1AC

下面列出一些相关的定义、定理以及性质。

1.相似 如果imgimg是数域img上的两个img阶矩阵,且可以找到img上的img阶非奇异矩阵img,使得B = C-1AC,则称imgimg相似,记为img

因此,我们可以说,线性变换在不同基下的矩阵是相似的;反之,如果两个矩阵相似,那么它们可以称为同一个线性变换在两组不同基下的矩阵。

当已知线性变换在某一组基下的矩阵,要写出其在另一组基下的矩阵时,就可以通过相似原理,先求出基变换的过渡矩阵,然后就很容易计算了。

2.相抵 设imgimg都是img阶矩阵,如果存在非奇异的img阶方阵imgimg阶方阵img,使得img,则称矩阵imgimg是相抵的,记为img

相抵在几何上可以解释为:在两个不同维的线性空间imgimg中,同一个线性算子img在不同的基偶下所对应的矩阵imgimg之间的关系。

也就是说,在线性代数中,对矩阵img进行初等行(列)变换,就相当于在img的左(右)两边分别乘上一个非奇异的初等运算矩阵,变换后的矩阵和原矩阵是相抵的。

3.相合 设imgimg是两个img阶方阵,如果存在非奇异的img阶方阵img,使得img,则称矩阵imgimg是相合(或合同)的。

在线性代数中用非退化的坐标做线性变换化简一个二次型时,它们所对应的矩阵就是合同关系。

相抵、相似、相合反映了两个矩阵之间的三种内在联系。相似与相合是相抵的特殊情况,当img(即img为正交阵)时,相似与相合一致。

4.定理 设img是数域imgimg维线性空间img的一组基,在这组基下,每个线性变换对应一个img阶矩阵。

(1)线性变换的和对应于矩阵的和。

(2)线性变换的乘积对应于矩阵的乘积。

(3)线性变换与数的积对应于矩阵与数的积。

(4)可逆的线性变换与可逆矩阵对应,且其逆变换对应于逆矩阵。

2.2.2.7 矩阵的逆方阵和秩

对于n阶方阵img,有如下的一些概念需要掌握。

1.非奇异 如果img(即img),则称img阶方阵img为非奇异的或非退化的,否则称其为奇异的退化的

2.可逆 如果存在n阶方阵img,使得img,则称img阶方阵img为可逆的,img为其逆矩阵

逆矩阵是唯一的。

3.秩 数域Pimg非零矩阵img的所有子式中必有一个阶数最大的非零子式,其阶数称为矩阵img的秩,记作imgimg。零矩阵的秩定义为零。

4.满秩 如果img矩阵img为满秩矩阵。

(1)对于数域img上的img阶方阵img当且仅当img可逆时img为非奇异的。

(2)当且仅当n阶方阵img满秩时,对于A而言,非奇异、可逆、满秩三个概念等价。

(3)n阶方阵img的秩小于img的充要条件为img

秩的其他性质跟线性代数中的相同,在此不再一一列举。

2.2.2.8 线性变换的特征值问题

线性变换的特征值和特征向量不仅在线性变换和机器学习的研究中具有重要意义,而且在物理、力学和工程技术的研究中也具有实际的意义。

特征值 设img是数域img上线性空间img的一个线性变换,如果存在img以及非零向量img,使得img,则称imgimg的特征值,并称imgimg的数域(或对应于)特征值img特征向量

● 求特征值和特征向量,统称为特征值问题

● img的特征值和特征向量的求解,可以转化成线性代数中关于矩阵的特征值问题。

● 相似矩阵具有相同的特征多项式。

● 相似矩阵具有相同的特征值。

定理 设img,则

img

其中,imgimg的所有k阶主子式之和。特别地,有

img

特征值img满足以下两个条件:

(1)img = img

式中img的主对角线上的元素(即img)之和叫作方阵img,记为img

● img= img = img

● n个特征值之和等于img的迹。

(2)img = img = |A|

n个特征值的积等于img的行列式。

img,则img。若img为同阶方阵(即img),则imgimg具有相同的特征值。

下面进一步讨论线性变换img(即矩阵img)的特征值及特征向量之间的关系。

1.设img是线性变换imgr个互异特征值,img是数域特征值imgimg个线性无关特征向量img,则img线性无关。

2可对角化的 设img是数域imgimg维线性空间img的一个线性变换,如果img中存在一组基,使得img在这一组基下的矩阵为对角阵,则称img是可对角化的。

(1)可对角化的充要条件是imgn个线性无关的特征向量。

(2)如果n阶方阵img与对角矩阵相似,则称矩阵img是可对角化的。

img

(3)n阶方阵img可对角化的充要条件是imgn个线性无关的特征向量。

(4)若img,则imgimgn个特征值,img的第i个列向量是img的属于特征值img的特征向量。

(5)可对角化矩阵img不是唯一的,跟img的排列顺序有关。

3.完备的特征向量系 n阶矩阵imgn个线性无关的特征向量时,则称矩阵img有完备的特征向量系;否则,称img亏损矩阵

显然,根据前面可对角化的充要条件和特征值与特征向量的对应关系,若数域imgimg维线性空间img上的线性变换img(或矩阵img)有n个不同的特征值,则线性变换img(或矩阵img)是可对角化的。

2.2.2.9 线性空间的不变子空间

定义 设img是数域img上的img维线性空间,imgimg上的线性变换,imgimg的子空间。如果img,有img(或img),则称img是关于img的不变子空间。

例如,导数运算img是线性空间img的一个线性变换,img为一切次数不超过img的多项式的集合形成的线性空间,则imgimg的不变子空间。

不变子空间还有如下两个重要的概念。

1.值域  设img是线性空间img上的一个线性变换,img中所有向量的像构成的集合称为线性变换img的值域,记为img

img

2.核 所有被img变成零向量的原像构成的集合称为img的核,记为img

img

img的值域和核都是img的不变子空间。

一般称img的维数是线性变换img,称img的维数是img零度,记作img。因此,有时又称imgimg秩空间imgimg核空间