向量的内积、长度和夹角
向量的内积
向量的内积:设 n 维向量 x=(x1,⋯,xn)y=(y1,⋯,yn)
[x,y]=x1y1+…+xnyn=(x1,…,xn)⎝⎜⎜⎛y1⋮yn⎠⎟⎟⎞=xyT
相关性质:设 n 维向量 x=(x1,⋯,xn)y=(y1,⋯,yn)z=(z1,⋯,zn)
[x,y]=x1y1+…+xnyn=y1x1+…+ynxn=[y,x]
[λx,y]=(λx1)y1+…+(λxn)yn=λ(x1y1+…+xnyn)=λ[x,y][x+y,z]=(x1+y1)z1+…+(xn+yn)zn=(x1z1+…+xnzn)+(y1z1+…+ynzn)=[x,z]+[y,z]
[x,x]=x12+…+xn2≥0
向量的长度
柯西-施瓦茨不等式:设有 n 维向量 x=(x1,…,xn)y=(y1,…,yn)
[x,y]2≤[x,x][y,y]
即:
(x1y1+…+xnyn)2≤(x12+…+xn2)(y12+…+yn2)
证明:
==0≤(x1+ty1)2+…+(xn+tyn)2(x12+2x1ty1+(ty1)2)+…+(xn2+2xntyn+(tyn)2)(x12+…+xn2)+2(x1y1+…+xnyn)t+(y12+…+yn2)t2
关于 t 的二次函数恒大于等于 0,判别式应该小于等于零:Δ=b2−4ac≤0
[2(x1y1+…+xnyn)]2−4(x12+…+xn2)(y12+…+yn2)≤0
化简为
(x1y1+…+xnyn)2≤(x12+…+xn2)(y12+…+yn2)
设 y=kx
[x,x][y,y]=[x,x][kx,kx]=[x,x]⋅k[x,kx]=[x,kx][x,kx]=[x,y][x,y]=[x,y]2
向量长度/范数/模:设 n 维向量 x=(x1,⋯,xn),令 ∥x∥=[x,x]=x12+⋯+xn2。
用向量相关含义改写柯西-施瓦茨不等式:
∣[x,y]∣≤∥x∥∥y∥
(当 x 与 y 平行(共线或线性相关),等式成立。)
性质:
∥x∥⩾0
∥λx∥=∣λ∣∥x∥
∥x+y∥≤∥x∥+∥y∥
证明:
====∥x+y∥2=[x+y,x+y][x,x+y]+[y,x+y][x,x]+[x,y]+[y,x]+[y,y][x,x]+2[x,y]+[y,y]≤∥x∥2+2∥x∥∥y∥+∥y∥2(∥x∥+∥y∥)2
单位向量:∥x∥=1 的向量 x。
向量的夹角
非零向量的单位化(规范化):∥x∥1x
∥∥∥∥∥∥x∥1x∥∥∥∥∥=∥x∥1∥x∥=1
两个 n 维非零向量的向量夹角 θ:
θ=arccos∥x∥∥y∥[x,y]cosθ=∥x∥∥y∥[x,y]
向量组的正交化
【定理1】设 n 维向量 a1,a2,⋯,ar 是一组两两正交的非零向量,则 a1,a2,⋯,ar 线性无关。
证明:
设 k1a1+…+kiai+…+krar=0
[ai,k1a1+…+kiai+…+krar]=[ai,0]=0
左边==k1[ai,a1]+…+ki[ai,ai]+…+kr[ai,ar]ki[ai,ai]
又 ai 是非零向量 [ai,ai]=∥ai∥2>0
故 ki=0(i=1,⋯,r)
所以 a1,a2,⋯,ar 线性无关。
非零正交组必是无关组,但无关组不一定是正交组
投影:向量 b 在非零向量 a 上的投影
Projab=∥b∥cosθ=∥a∥[a,b]=[b,∥a∥a]
特殊地,向量 b 在单位向量 e 上的投影 Projea=[a,e]
规范正交基:设 n 维向量 e1,e2,…,er 是向量空间 V(V 包含 于 Rn)的一个基, 如果 e1,e2,…,er 是两两正交的单位向量,,则称 e1,e2,…,er 是 V 的一个规范正交基。
设 V 中任一向量 a,可以用上述的规范正交基表示:
a=x1e1+⋯+xiei+…+xrer
[a,ei]=[x1e1+⋯+xiei+⋯+xrer,ei]=x1[e1,ei]+⋯+xi[ei,ei]+⋯+xr[er,ei]=x10+⋯+xi1+…+xr0=xi(i=1,⋯,r)
即 a=[a,e1]e1+…+[a,ei]ei+…+[a,er]er
a 的第 i 个分量 xi=[a,ei] 恰好是 a 在 ei 上的投影。——规范正交基的优越性
施密特正交化:设 a1,a2,…,ar 是 Rn 中的一个最大线性无关组,将其改造成正交组。
- 取 b1=a1,则 {b1} 与 {a1} 等价(共线)
- 在 {b1,a2} 生成的二维空间找一个非零向量 b2,使 b2 与 b1 正交。
b2=k1b1+k2a2
0=[b1,b2]=[b1,k1b1+k2a2]=k1[b1,b1]+k2[b,a2]
⇒k1=−k2[b1,b1][b1,a2]
b2=−k2[b1,b1][b1,a2]b1+k2a2
取 k2=1,得
b2=a2−[b1,b1][b1,a2]b1
b2=0,否则 b1,a2 线性相关。
则 {b1,b2} 与 {a1,a2} 等价(共面)
- 在 {b1,b2,a3} 生成的三维空间找一个非零向量 b3,使 b3 与 b2 和 b1 都正交。
b3=k1b1+k2b2+k3a3
0=[b1,b3]=[b1,k1b1+k2b2+k3a3]=k1[b1,b1]+k2[b1,b2]+k3[b1,a3]=k1[b1,b1]+k20+k3[b1,a3]
⇒k1=−k3[b1,b1][b1,a3]
同理可得
⇒k2=−k3[b2,b2][b2,a3]
b3=−k3[b1,b1][b1,a3]b1−k3[b2,b2][b2,a3]b2+k3a3
取 k3=1,得
b3=a3−[b1,b1][b1,a3]b1−[b2,b2][b2,a3]b2
b3=0,否则 b1,b2,a3 线性相关。
则 {b1,b2,b3} 与 {a1,a2,a3} 等价(共面)
- ⋯⋯
一般地,假设按照以上步骤求出了正交向量组 {b1,…,bi−1}
bi=ai−[b1,b1][b1,ai]b1−[b2,b2][b2,ai]b2−⋯−[bi−1,bi−1][bi−1,ai]bi−1
bi=0,否则 b1,b2,⋯,ai 线性相关。
且 {b1,…,bi} 与 {a1,…,ai} 等价 (i=1,2,…,r)
最后单位化 {b1,…,bi},得到两两正交的单位向量。
e1=∥b1∥b1,e2=∥b2∥b2,…,er=∥br∥br
【定理2】每个 r 维向量空间 V 都有规范正交基。
正交矩阵及正交变换
【命题1】设 A 是 m×n 矩阵,则
- A 的列向量组是两两正交的单位向量的充分必要条件是 ATA=En 。
- A 的行向量组是两两正交的单位向量的充分必要条件是 AAT=Em 。
证明:
- 设 A=(α1α2…αn)
则
ATA=⎝⎜⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎟⎞(α1α2…αn)=(rij)n×n
α1,α2,…,αn 是两两正交的单位向量
⇔rij=αiTαj=[αi,αj]={1,i=j0,i=j⇔(rij)n×n=En
- 设 A=⎝⎜⎜⎜⎜⎛β1β2⋮βm⎠⎟⎟⎟⎟⎞
AAT=⎝⎜⎜⎜⎜⎛β1β2⋮βm⎠⎟⎟⎟⎟⎞(β1Tβ2T…βmT)=(sij)m×m
⇔sij=βiβjT=[βi,βj]={1,i=j0,i=j⇔(sij)m×m=Em
推论:设 A 是 n 阶矩阵,则以下条件等价:
- ATA=E
- A−1=AT
- A 的列向量组是两两正交的单位向量
- A 的行向量组是两两正交的单位向量
正交矩阵:方阵 A 满足
ATA=E
或 A−1=AT
【命题2】:根据【命题1】推论
设 A 是 n 阶矩阵,则以下条件等价:
- A 是正交矩阵(ATA=E 或 A−1=AT)
- A 的列向量组是两两正交的单位向量(ATA=E)
- A 的行向量组是两两正交的单位向量(AAT=E)
正交矩阵 A⇔ATA=E=AAT⇔A−1=AT
性质:
- 若 A 是正交阵,则 AT 和 A−1 也是正交阵
(AT)−1=(A−1)T=(AT)T⇒AT 正交
(A−1)T=(AT)−1=(A−1)−1⇒A−1 正交
- 若 A 和 B 是同阶的正交阵,则 AB 也是正交阵
(AB)−1=B−1A−1=BTAT=(AB)T⇒AB 正交
推论:
- A1,⋯,Al 是同阶正交阵 ⇒A1⋯Al 也是正交阵
- A 是正交阵 ⇒An 也是正交阵 (n 是正整数)
ATA=E⇒∣∣∣ATA∣∣∣=∣E∣⇒∣∣∣AT∣∣∣∣A∣=1⇒∣A∣∣A∣=1⇒∣A∣2=1⇒∣A∣=1 or −1
- 若 A 是正交阵,则 ∣A∣2=1, 从而 ∣A∣=1 或 −1
正交变换:设 P 是正交矩阵,则线性变换 y=Px 称为正交变换
性质:设 y=Px 是正交矩阵
[Px,Py]=(Px)T(Py)=(xTPT)(Py)=xT(PTP)y=xTEy=xTy=[x,y]
∥Px∥=[Px,Px]=[x,x]=∥x∥
cos(Px,Py)=∥Px∥∥Py∥[Px,Py]=∥x∥∥y∥[x,y]=cos(x,y)
特征值与特征向量
特征值与特征向量:设 A 是 n 阶矩阵,如果数 λ 和 n 维非零向量 x 满足
Ax=λx
则称 λ 是矩阵 A 的特征值,非零向量 x 是矩阵 A 对应于(或属于)特征值 λ 的特征向量。
⇔
Ax−λx=0
(A−λE)x=0
方阵 A 对应于(或属于)特征值 λ 的特征向量 x 是上述方程组的非零解。
方程组有非零解的充分必要条件是其系数行列式
∣A−λE∣=0
设
A=⎝⎜⎜⎜⎜⎛a11a21⋮an1a12a22⋮an2⋯⋯⋯a1na2n⋮ann⎠⎟⎟⎟⎟⎞
∣A−λE∣=∣∣∣∣∣∣∣∣∣∣a11−λa21⋮an1a12a22−λ⋮an2⋯⋯⋯a1na2n⋮ann−λ∣∣∣∣∣∣∣∣∣∣=0
求矩阵 A 的特征值与特征向量的步骤:
- 解特征方程 ∣A−λE∣=0 得 n 个特征值 λ1,λ2,⋯,λn
- 对每个特征值 λi ,解齐次线性方程组:
(A−λiE)x=0
设 ξ1,…,ξl 是此方程组的基础解系,则 A 的属于特征值 λi 的全部特征向量为
p=k1ξ1+⋯+klξl( 其中 k1,⋯,kl 不全为 0)
方程组的解空间称为矩阵对应于(或属于)特征值 λ 的特征空间。
-
每一个特征单根只能确定一个线性无关的特征向量。
-
一个二重特征根最多能确定两个线性无关的特征向量。
-
⋯
一般地,一个 s 重特征根最多能确定 s 个线性无关的特征向量。
所以,一个 n 阶矩阵 A 最多有 n 个线性无关的特征向量。
特征多项式:
设
A=⎝⎜⎜⎜⎜⎛a11a21⋮an1a12a22⋮an2⋯⋯⋯a1na2n⋮ann⎠⎟⎟⎟⎟⎞
f(λ)=∣A−λE∣=∣∣∣∣∣∣∣∣∣∣a11−λa21⋮an1a12a22−λ⋮an2⋯⋯⋯a1na2n⋮ann−λ∣∣∣∣∣∣∣∣∣∣=(λ1−λ)(λ2−λ)⋯(λn−λ)=(−1)nλn+(−1)n−1(λ1+λ2+…+λn)λn−1+…+λ1λ2⋯λn
易得
f(0)=∣A∣=λ1λ2⋯λn
行列式展开式中,含有 λn 和 λn−1 的项只能出现在主对角线的元素的乘积中:
(a11−λ)(a22−λ)⋯(ann−λ)=(−1)nλn+(−1)n−1(a11+a22+…+ann)λn−1+…
得
λ1+λ2+…+λn=a11+a22+…+ann
又 a11+a22+…+ann 称为 A 的迹,记作 trA
特征值之积=矩阵的行列式
特征值之和=矩阵的主对角线元素之和=矩阵的迹
特征值与特征向量的性质
属于同一特征值的若干个特征向量的非零线性组合仍然是属于该特征值的特征向量。
设 p 是方阵 A 的属于特征值 λ 的特征向量,则 kp(k=0) 也是 A 的属于 λ 的特征向量。
设 p1,…,ps 是方阵 A 的属于特征值 λ 的特征向量,则 p=k1p1+…+ksps=0 也是 A 的属于 λ 的特征向量。
证明:
Api=λpi(i=1,…,s)
p=k1p1+…+ksps=0
Ap=A(k1p1+…+ksps)=A(k1p1)+…+A(ksps)=k1Ap1+…+ksAps=k1λp1+…+ksλps=λ(k1p1+…+ksps)=λp
矩阵 |
特征值 |
特征向量 |
A |
λ |
p |
Ak |
λk |
p |
φ(A) |
φ(λ) |
p |
A−1 |
λ−1 |
p |
$A^*= |
A |
A^{-1}$ |
AT |
λ |
不一定是 p |
【定理3】设 λ1,λ2,⋯,λm 是方阵 A 的 m 个互不相同的特征值,p1,p2,…,pm 是 A 的分别属于这 m 个特征值 的特征向量, 则 p1,p2,…,pm 线性无关。
特征值的代数重数和几何重数:
设 λ 是 n 阶矩阵 A 的 k 重特征根,即 λ 是 A 的特征方程
f(λ)=∣A−λE∣=0
的 k 重根,称 k 是特征值 λ 的代数重数。
对于上述特征方程的解空间(特征)空间的维数,为特征值 λ 的几何重数。
A 的一个 k 重特征值 λ 能确定多少个线性无关特征向量?
【定理4】一个方阵的特征值的几何重数小于或等于它的代数重数。
证明
设 n 阶矩阵 A 的特征值 λ0 的几何重数是 s 。 因此齐次线性方程组
(A−λ0E)x=0
能确定 s 个线性无关的特征向量:
p1,⋯,ps(s≤n)
将上述特征向量扩大为 n 维空间的一个基
p1,⋯,ps,q1,⋯,qn−s
A(p1,…,ps,q1,…,qn−s)=(Ap1,…,Aps,Aq1,…,Aqn−s)
Ap1=λ0p1⋯⋯Aps=λ0p1Aq1=a11p1+⋯+as1ps+b11q1+⋯+bn−s,1qn−s⋯⋯Aqn−s=a1,n−sp1+⋯+as,n−sps+b1,n−sq1+⋯+bn−s,n−sqn−s
又 P=(p1,⋯,ps,q1,⋯,qn−s),P 可逆,且
T=⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎛λ0⋮00⋮0⋯⋱⋯⋯⋮⋯0⋮λ00⋮0a11⋮as1b11⋮bn−s,1⋯⋮⋯⋯⋮⋯a1,n−s⋮as,n−sb1,n−s⋮bn−s,n−s⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎞
AP=PT
A=PTP−1
f(λ)=∣A−λE∣=∣∣∣PTP−1−λE∣∣∣=∣∣∣PTP−1−PλEP−1∣∣∣=∣∣∣P(T−λE)P−1∣∣∣=∣P∣∣T−λE∣∣∣∣P−1∣∣∣=∣T−λE∣=∣λ0Es−λEs∣∣B−λEn−s∣=(λ0−λ)s∣B−λEn∣
特征值 λ0 的代数重数至少是 s 。
几种特殊矩阵的特征值与特征向量
相似矩阵
相似矩阵与相似变换:
矩阵的对角化
对称矩阵的对角化
二次型及其标准形
用配方法化二次型成标准形
用初等变换化二次型为标准形
惯性定理
正定二次型和正定矩阵
正定矩阵的性质