第十六讲 投影矩阵(Ax=b)和最小二乘法
上一讲中，我们知道了投影矩阵
P
=
A
(
A
T
A
)
−
1
A
T
P=A(A^TA)^{-1}A^T
P=A(ATA)−1AT，
P
b
Pb
Pb将会把向量投影在
A
A
A的列空间中。即只要知道矩阵
A
A
A的列空间，就能得到投影矩阵
P
P
P的导出式。
##1.投影矩阵（Ax=b无解的情形）
1.1两个极端的例子：
- 如果 b ∈ C ( A ) b\in C(A) b∈C(A)，则 P b = b Pb=b Pb=b；
- 如果 b ⊥ C ( A ) b\bot C(A) b⊥C(A)，则 P b = 0 Pb=0 Pb=0。
证明1：
P
b
=
A
(
A
T
A
)
−
1
A
T
b
=
A
(
A
T
A
)
−
1
A
T
A
x
=
A
(
(
A
T
A
−
1
)
A
T
A
)
x
=
A
x
=
b
Pb = A(A^TA)^{-1}A^Tb\\ = A(A^TA)^{-1}A^TAx\\ =A((A^TA^{-1})A^TA)x =Ax=b
Pb=A(ATA)−1ATb=A(ATA)−1ATAx=A((ATA−1)ATA)x=Ax=b
证明2：
P
b
=
A
(
A
T
A
)
−
1
A
T
b
=
A
(
A
T
A
−
1
)
(
A
T
b
)
=
A
(
(
A
T
A
−
1
)
0
=
0
Pb = A(A^TA)^{-1}A^Tb\\ = A(A^TA^{-1})(A^Tb)\\ =A((A^TA^{-1})0=0
Pb=A(ATA)−1ATb=A(ATA−1)(ATb)=A((ATA−1)0=0
一般情况下，
b
b
b将会有一个垂直于
A
A
A的分量，有一个在
A
A
A列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。
1.2一般情形
一般情况下，
b
b
b将会有一个垂直于
A
A
A的分量，有一个在
A
A
A列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。如图：
向量
b
投
影
后
，
有
b
=
e
+
p
,
p
=
P
b
,
e
=
(
I
−
P
)
b
，
这
里
的
p
是
b
在
C
(
A
)
中
的
分
量
，
而
e
是
b
在
N
(
A
T
)
中
的
分
量
。
b投影后，有b=e+p, p=Pb, e=(I-P)b，这里的p是b在C(A)中的分量，而e是b在N(A^T)中的分量。
b投影后，有b=e+p,p=Pb,e=(I−P)b，这里的p是b在C(A)中的分量，而e是b在N(AT)中的分量。
可以理解为：向量
b
b
b的投影在
A
A
A的column space，error vector的投影在left null space上，我们知道
P
P
P，可以将
b
b
b 投影到
p
p
p，那么一个什么样的投影矩阵把
b
b
b投影到了
e
e
e？因为column space与left null space正交补，所以他们共同组成了整个空间，
I
I
I的column space就是整个空间，
I
−
P
I−P
I−P就是把
b
b
b投影到
e
e
e的矩阵，它和
P
P
P有意义的性质。
2. 最小二乘法（Ax=b）
回到上一讲最后提到的例题：
我们需要找到距离图中三个点
(
1
,
1
)
,
(
2
,
2
)
,
(
3
,
2
)
(1, 1), (2, 2), (3, 2)
(1,1),(2,2),(3,2) 偏差最小的直线：
y
=
C
+
D
t
y=C+Dt
y=C+Dt。
根据条件可以得到方程组
{
C
+
D
=
1
C
+
2
D
=
2
C
+
3
D
=
2
\begin{cases} C+D&=1 \\ C+2D&=2 \\ C+3D&=2 \\ \end{cases}
⎩⎪⎨⎪⎧C+DC+2DC+3D=1=2=2
，写作矩阵形式
[
1
1
1
2
1
3
]
[
C
D
]
=
[
1
2
2
]
\begin{bmatrix}1 &1 \\1 &2 \\1&3\\\end{bmatrix}\begin{bmatrix}C\\D\\\end{bmatrix}=\begin{bmatrix}1\\2\\2\\\end{bmatrix}
⎣⎡111123⎦⎤[CD]=⎣⎡122⎦⎤，也就是我们的
A
x
=
b
Ax=b
Ax=b，很明显方程组无解。
此时我们要找到最接近的解"最优解"，我们要使得解最优即误差最小，定义误差为
A
x
−
b
=
e
Ax−b=e
Ax−b=e的模长的平方即
∥
A
x
−
b
∥
2
=
∥
e
∥
2
=
e
21
+
e
22
+
e
23
∥Ax−b∥_2=∥e∥_2=e_{21}+e_{22}+e_{23}
∥Ax−b∥2=∥e∥2=e21+e22+e23。此处使用平方的原因一是排除开根号带来的非线性运算，一是方便利用偏导数求解最小值。
- 1.利用偏导求解
这里如果使用偏导数我们也能得到关于最优解的方程，展开结果为:
{
∥
e
∥
2
=
e
1
2
+
e
2
2
+
e
2
2
=
(
C
+
D
−
1
)
2
+
(
C
+
2
D
−
2
)
2
+
(
C
+
3
D
−
2
)
2
=
3
C
2
+
14
D
2
+
9
−
10
C
−
22
D
+
12
C
D
\begin{cases} ∥e∥_2&=e_1^2+e_2^2+e_2^2\\ &=(C+D-1)^2+(C+2D-2)^2+(C+3D-2)^2\\ &=3C^2+14D^2+9−10C−22D+12CD\\ \end{cases}
⎩⎪⎨⎪⎧∥e∥2=e12+e22+e22=(C+D−1)2+(C+2D−2)2+(C+3D−2)2=3C2+14D2+9−10C−22D+12CD
然后对
C
C
C求偏导为
6
C
−
10
+
12
D
=
0
6C-10+12D=0
6C−10+12D=0；对
D
D
D求偏导为
28
D
−
22
+
12
C
=
0
28D-22+12C=0
28D−22+12C=0。
解方程得
C
^
=
2
3
,
D
^
=
1
2
\hat C=\frac{2}{3}, \hat D=\frac{1}{2}
C^=32,D^=21，则“最佳直线”为
y
=
2
3
+
1
2
t
y=\frac{2}{3}+\frac{1}{2}t
y=32+21t，带回原方程组解得
p
1
=
7
6
,
p
2
=
5
3
,
p
3
=
13
6
p_1=\frac{7}{6}, p_2=\frac{5}{3}, p_3=\frac{13}{6}
p1=67,p2=35,p3=613，即
e
1
=
−
1
6
,
e
2
=
1
3
,
e
3
=
−
1
6
e_1=-\frac{1}{6}, e_2=\frac{1}{3}, e_3=-\frac{1}{6}
e1=−61,e2=31,e3=−61。
于是我们得到
p
=
[
7
6
5
3
13
6
]
,
e
=
[
−
1
6
1
3
−
1
6
]
p=\begin{bmatrix}\frac{7}{6}\\\frac{5}{3}\\\frac{13}{6}\end{bmatrix}, e=\begin{bmatrix}-\frac{1}{6}\\\frac{1}{3}\\-\frac{1}{6}\end{bmatrix}
p=⎣⎡6735613⎦⎤,e=⎣⎡−6131−61⎦⎤，易看出
b
=
p
+
e
b=p+e
b=p+e，同时我们发现
p
⋅
e
=
0
p\cdot e=0
p⋅e=0即
p
⊥
e
p\bot e
p⊥e。
可以验证，向量p 与e 正交，并且e 与矩阵A 的列空间正交。
p
T
e
=
7
/
6
∗
(
−
1
/
6
)
+
5
/
3
∗
1
/
3
+
13
/
6
∗
(
−
1
/
6
)
=
0
e
T
a
1
=
1
∗
(
−
1
/
6
)
+
1
∗
1
/
3
+
1
∗
(
−
1
/
6
)
=
0
e
T
a
2
=
1
∗
(
−
1
/
6
)
+
2
∗
1
/
3
+
3
∗
(
−
1
/
6
)
=
0
p^Te=7/6*(-1/6)+5/3*1/3+13/6*(-1/6)=0\\ e^Ta_1=1*(-1/6)+1*1/3+1*(-1/6)=0\\ e^Ta_2=1*(-1/6)+2*1/3+3*(-1/6)=0
pTe=7/6∗(−1/6)+5/3∗1/3+13/6∗(−1/6)=0eTa1=1∗(−1/6)+1∗1/3+1∗(−1/6)=0eTa2=1∗(−1/6)+2∗1/3+3∗(−1/6)=0
误差向量 e e e不仅垂直于投影向量 p p p，它同时垂直于列空间，如 [ 1 1 1 ] , [ 1 2 3 ] \begin{bmatrix}1\\1\\1\end{bmatrix}, \begin{bmatrix}1\\2\\3\end{bmatrix} ⎣⎡111⎦⎤,⎣⎡123⎦⎤。
- 2.利用矩阵求解
用矩阵的方法求解
A
x
^
=
P
b
A\hat x=Pb
Ax^=Pb得到的方程是一样的，现在我们尝试解出
x
^
=
[
C
^
D
^
]
\hat x=\begin{bmatrix}\hat C\\ \hat D\end{bmatrix}
x^=[C^D^]与
p
=
[
p
1
p
2
p
3
]
。
p=\begin{bmatrix}p_1\\p_2\\p_3\end{bmatrix}。
p=⎣⎡p1p2p3⎦⎤。
A
T
A
x
^
=
A
T
b
A
T
A
=
[
3
6
6
14
]
A
T
b
=
[
5
11
]
[
3
6
6
14
]
[
C
^
D
^
]
=
[
5
11
]
A^TA\hat x=A^Tb\\ A^TA= \begin{bmatrix}3&6\\6&14\end{bmatrix}\qquad A^Tb= \begin{bmatrix}5\\11\end{bmatrix}\\ \begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}\hat C\\\hat D\end{bmatrix}= \begin{bmatrix}5\\11\end{bmatrix}\\
ATAx^=ATbATA=[36614]ATb=[511][36614][C^D^]=[511]
写成方程形式为
{
3
C
^
+
16
D
^
=
5
6
C
^
+
14
D
^
=
11
\begin{cases}3\hat C+16\hat D&=5\\6\hat C+14\hat D&=11\\\end{cases}
{3C^+16D^6C^+14D^=5=11，也称作
正
规
方
程
组
（
n
o
r
m
a
l
e
q
u
a
t
i
o
n
s
）
\color{red}{正规方程组（normal equations）}
正规方程组（normalequations）。
求的的结果是一样的。
我们现在做的运算也称作 线 性 回 归 （ l i n e a r r e g r e s s i o n ） \color{red}{线性回归（linear regression）} 线性回归（linearregression），使用误差的平方和作为 测 量 总 误 差 的 标 准 \color{red}{测量总误差的标准} 测量总误差的标准。
- 注：
如果有另一个点，如 ( 0 , 100 ) (0, 100) (0,100)，在本例中该点明显距离别的点很远，最小二乘将很容易被离群的点影响， 通 常 使 用 最 小 二 乘 时 会 去 掉 明 显 离 群 的 点 \color{red}{通常使用最小二乘时会去掉明显离群的点} 通常使用最小二乘时会去掉明显离群的点。
3.证明 A T A A^TA ATA可逆
###3.1 证明可逆
接下来我们观察
A
T
A
A^TA
ATA，
如
果
A
的
各
列
线
性
无
关
，
求
证
A
T
A
是
可
逆
矩
阵
\color{red}{如果A的各列线性无关，求证A^TA是可逆矩阵}
如果A的各列线性无关，求证ATA是可逆矩阵。
先假设
A
T
A
x
=
0
A^TAx=0
ATAx=0，两边同时乘以
x
T
x^T
xT有
x
T
A
T
A
x
=
0
x^TA^TAx=0
xTATAx=0，即
(
A
x
)
T
(
A
x
)
=
0
(Ax)^T(Ax)=0
(Ax)T(Ax)=0。一个矩阵乘其转置结果为零，则这个矩阵也必须为零（
(
A
x
)
T
(
A
x
)
(Ax)^T(Ax)
(Ax)T(Ax)相当于
A
x
Ax
Ax长度的平方）。则
A
x
=
0
Ax=0
Ax=0，结合题设中的“
A
A
A的各列线性无关”，可知
x
=
0
x=0
x=0，也就是
A
T
A
A^TA
ATA的零空间中有且只有零向量，得证。
###3.2互相垂直线性无关
我们再来看一种线性无关的特殊情况：
互
相
垂
直
的
单
位
向
量
一
定
是
线
性
无
关
的
\color{red}{互相垂直的单位向量一定是线性无关的}
互相垂直的单位向量一定是线性无关的。
比如：
[
1
0
0
]
[
0
1
0
]
[
0
0
1
]
\begin{bmatrix}1\\0\\0\end{bmatrix}\begin{bmatrix}0\\1\\0\end{bmatrix}\begin{bmatrix}0\\0\\1\end{bmatrix}
⎣⎡100⎦⎤⎣⎡010⎦⎤⎣⎡001⎦⎤，这三个正交单位向量也称作标准正交向量组（orthonormal vectors）。
另一个例子
[
cos
θ
sin
θ
]
[
−
sin
θ
cos
θ
]
\begin{bmatrix}\cos\theta\\\sin\theta\end{bmatrix}\begin{bmatrix}-\sin\theta\\\cos\theta\end{bmatrix}
[cosθsinθ][−sinθcosθ]
下一讲研究标准正交向量组。
4.总结
1.记住图的意义：
2.最小二乘法求解的意义。
3.
A
T
A
A^TA
ATA可逆的条件和正交向量组。
#第十七讲：正交矩阵和Gram-Schmidt正交化法
这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵
1.标准正交基与正交矩阵
###1.1 标准正交基
- 定义** 标 准 正 交 向 量 \color{red}{标准正交向量} 标准正交向量（orthonormal）： q i T q j = { 0 i ≠ j 1 i = j q_i^Tq_j=\begin{cases}0\quad i\neq j\\1\quad i=j\end{cases} qiTqj={0i=j1i=j;
2.将标准正交向量放入矩阵中，有 Q = [ q 1 q 2 ⋯ q n ] Q=\Bigg[q_1 q_2 \cdots q_n\Bigg] Q=[q1q2⋯qn],计算 Q T Q Q^TQ QTQ
Q T Q = [ 1 0 ⋯ 0 0 1 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ] = I Q^TQ=\begin{bmatrix}1& 0& \cdots& 0\\0& 1& \cdots& 0\\\vdots& \vdots& \ddots& \vdots\\0& 0& \cdots& 1\end{bmatrix}=I QTQ=⎣⎢⎢⎢⎡10⋮001⋮0⋯⋯⋱⋯00⋮1⎦⎥⎥⎥⎤=I
我们也把 Q Q Q成为 标 准 正 交 矩 阵 \color{red}{标准正交矩阵} 标准正交矩阵**（orthonormal matrix）。
标准正交基：
- 举个置换矩阵的例子： Q = [ 0 1 0 1 0 0 0 0 1 ] Q=\begin{bmatrix}0& 1& 0\\1& 0& 0\\0& 0& 1\end{bmatrix} Q=⎣⎡010100001⎦⎤，则 Q T = [ 0 1 0 0 0 1 1 0 0 ] Q^T=\begin{bmatrix}0& 1& 0\\0& 0& 1\\1& 0& 0\end{bmatrix} QT=⎣⎡001100010⎦⎤，易得 Q T Q = I Q^TQ=I QTQ=I。
- 使用上一讲的例子 Q = [ cos θ − sin θ sin θ cos θ ] Q=\begin{bmatrix}\cos\theta& -\sin\theta\\\sin\theta& \cos\theta\end{bmatrix} Q=[cosθsinθ−sinθcosθ]，列向量长度为 1 1 1，且列向量相互正交。
- 其他例子 Q = 1 2 [ 1 1 1 − 1 ] Q=\frac{1}{\sqrt 2}\begin{bmatrix}1& 1\\1& -1\end{bmatrix} Q=21[111−1]，列向量长度为 1 1 1，且列向量相互正交。
- 使用上一个例子的矩阵，令 Q ′ = c [ Q Q Q − Q ] Q'=c\begin{bmatrix}Q& Q\\Q& -Q\end{bmatrix} Q′=c[QQQ−Q]，取合适的 c c c另列向量长度为 1 1 1也可以构造标准正交矩阵： Q = 1 2 [ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ] Q=\frac{1}{2}\begin{bmatrix}1& 1& 1& 1\\1& -1& 1& -1\\1& 1& -1& -1\\1& -1& -1& 1\end{bmatrix} Q=21⎣⎢⎢⎡11111−11−111−1−11−1−11⎦⎥⎥⎤，这种构造方法以阿德玛（Adhemar）命名，对 2 , 4 , 16 , 64 , ⋯ 2, 4, 16, 64, \cdots 2,4,16,64,⋯阶矩阵有效。
- 再来看一个例子， Q = 1 3 [ 1 − 2 2 2 − 1 − 2 2 2 1 ] Q=\frac{1}{3}\begin{bmatrix}1& -2& 2\\2& -1& -2\\2& 2& 1\end{bmatrix} Q=31⎣⎡122−2−122−21⎦⎤，列向量长度为 1 1 1，且列向量相互正交。格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。
**标准正交矩阵 **
Q T Q Q^TQ QTQ对任意的 Q Q Q都成立，但我们更关注 Q Q Q为方阵时的情况，因为其有逆且由 Q T Q = I ⇒ Q − 1 = Q T Q^TQ=I⇒Q^{−1}=Q^T QTQ=I⇒Q−1=QT，我们叫这种column vector为标准正交向量组成且为方阵的矩阵为正交矩阵 orthogonal matrix。
注意：标准正交矩阵 orthogonormal matrix不一定是方阵，当它是方阵的时候，我们叫它正交矩阵 orthogonal matrix。
1.2正交矩阵
为什么我们如此关注标准正交矩阵 orthogonormal matrix为方阵 的情形？
上一讲我们研究了 A T A A^TA ATA的特性，联系我们之前学习的投影矩阵projection matrix，将向量 b b b投影在标准正交矩阵 Q Q Q的列空间中，根据上一讲的公式得 P = Q ( Q T Q ) − 1 Q T P=Q(Q^TQ)^{-1}Q^T P=Q(QTQ)−1QT，由于标准正交矩阵 Q Q Q的性质，易得 P = Q Q T P=QQ^T P=QQT。
我们断言，当列向量为标准正交基时， Q Q T QQ^T QQT是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时 Q Q T = I QQ^T=I QQT=I。
投影矩阵的两个性质：
- ( Q Q T ) T = Q Q T (QQ^T)^T=QQ^T (QQT)T=QQT，
证明： ( Q Q T ) T = ( Q T ) T Q T = Q Q T (QQ^T)^T=(Q^T)^TQ^T=QQ^T (QQT)T=(QT)TQT=QQT2. ( Q Q T ) 2 = Q Q T (QQ^T)^2=QQ^T (QQT)2=QQT
证明： ( Q Q T ) 2 = Q Q T Q Q T = Q ( Q T Q ) Q T = Q Q T (QQ^T)^2=QQ^TQQ^T=Q(Q^TQ)Q^T=QQ^T (QQT)2=QQTQQT=Q(QTQ)QT=QQT
我 们 计 算 的 A T A x ^ = A T b \color{red}{我们计算的A^TA\hat x=A^Tb} 我们计算的ATAx^=ATb，现在变为 Q T Q x ^ = Q T b Q^TQ\hat x=Q^Tb QTQx^=QTb，也就是 x ^ = Q T b \hat x=Q^Tb x^=QTb，分解开来看就是 x ^ i = q i T b ‾ \underline{\hat x_i=q_i^Tb} x^i=qiTb，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第 i i i个分量为基的第 i i i个分量乘以b，在第 i i i个基方向上的投影就等于q_i^Tb。}$
##2. Gram-Schmidt正交化法
这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized，而Graham教我们如何使得各个向量正交orthogonal。
总思路：
已知相互无关的向量 a a a, b b b，目标要将 a a a, b b b 变成相互正交且长度为$1 的 的 的q_1 , , ,q_2 ， 可 将 向 量 ，可将向量 ，可将向量a$ 固定，然后 b b b投影到$a 上 ， 误 差 上，误差 上，误差e=B$.
我们有两个线性无关的向量 a , b a, b a,b，先把它们化为单位正交向量 A , B A, B A,B：
- 我们取定 a a a向量的方向， a = A a=A a=A；
- 接下来将 b b b投影在 A A A的法方向上得到 B B B，也就是求子空间投影一讲中，我们提到的误差向量 e = b − p e=b-p e=b−p，即 B = b − A T b A T A A B=b-\frac{A^Tb}{A^TA}A B=b−ATAATbA。检验一下 A ⊥ B A\bot B A⊥B， A T B = A T b − A T A T b A T A A = A T b − A T A A T A A T b = 0 A^TB=A^Tb-A^T\frac{A^Tb}{A^TA}A=A^Tb-\frac{A^TA}{A^TA}A^Tb=0 ATB=ATb−ATATAATbA=ATb−ATAATAATb=0。（ A T b A T A A \frac{A^Tb}{A^TA}A ATAATbA就是 A x ^ = p A\hat x=p Ax^=p）；
- 再将它们单位化，变为单位正交向量 q 1 = A ∥ A ∥ , q 2 = B ∥ B ∥ q_1=\frac{A}{\left\|A\right\|}, q_2=\frac{B}{\left\|B\right\|} q1=∥A∥A,q2=∥B∥B。
如果我们有三个线性无关的向量 a , b , c a, b, c a,b,c，则我们现需要求它们变换成单位正交向量 A , B , C A, B, C A,B,C：
- 前两个向量我们已经得到了，我们现在需要求第三个向量同时正交于 A , B A, B A,B；
- 我们依然沿用上面的方法，从 c c c中减去其在 A , B A, B A,B上的分量，得到正交与 A , B A, B A,B的 C C C： C = c − A T c A T A A − B T c B T B B C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B C=c−ATAATcA−BTBBTcB；
- 再将它们单位化，变为单位正交向量 q 1 = A ∥ A ∥ , q 2 = B ∥ B ∥ , q 3 = C ∥ C ∥ q_1=\frac{A}{\left\|A\right\|}, q_2=\frac{B}{\left\|B\right\|}, q_3=\frac{C}{\left\|C\right\|} q1=∥A∥A,q2=∥B∥B,q3=∥C∥C。
例子：
现在我们试验一下推导出来的公式，
a
=
[
1
1
1
]
,
b
=
[
1
0
2
]
a=\begin{bmatrix}1\\1\\1\end{bmatrix}, b=\begin{bmatrix}1\\0\\2\end{bmatrix}
a=⎣⎡111⎦⎤,b=⎣⎡102⎦⎤：
则
A
=
a
=
[
1
1
1
]
A=a=\begin{bmatrix}1\\1\\1\end{bmatrix}
A=a=⎣⎡111⎦⎤；
根据公式有
B
=
a
−
h
A
B=a-hA
B=a−hA，
h
h
h是比值
A
T
b
A
T
A
=
3
3
\frac{A^Tb}{A^TA}=\frac{3}{3}
ATAATb=33，则
B
=
[
1
1
1
]
−
3
3
[
1
0
2
]
=
[
0
−
1
1
]
B=\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{3}{3}\begin{bmatrix}1\\0\\2\end{bmatrix}=\begin{bmatrix}0\\-1\\1\end{bmatrix}
B=⎣⎡111⎦⎤−33⎣⎡102⎦⎤=⎣⎡0−11⎦⎤。验证一下正交性有
A
⋅
B
=
0
A\cdot B=0
A⋅B=0。
单位化，
q
1
=
1
3
[
1
1
1
]
,
q
2
=
1
2
[
1
0
2
]
q_1=\frac{1}{\sqrt 3}\begin{bmatrix}1\\1\\1\end{bmatrix},\quad q_2=\frac{1}{\sqrt 2}\begin{bmatrix}1\\0\\2\end{bmatrix}
q1=31⎣⎡111⎦⎤,q2=21⎣⎡102⎦⎤，则标准正交矩阵为
Q
=
[
1
3
0
1
3
−
1
2
1
3
1
2
]
Q=\begin{bmatrix}\frac{1}{\sqrt 3}& 0\\\frac{1}{\sqrt 3}& -\frac{1}{\sqrt 2}\\\frac{1}{\sqrt 3}& \frac{1}{\sqrt 2}\end{bmatrix}
Q=⎣⎢⎡3131310−2121⎦⎥⎤，对比原来的矩阵
D
=
[
1
1
1
0
1
2
]
D=\begin{bmatrix}1& 1\\1& 0\\1& 2\end{bmatrix}
D=⎣⎡111102⎦⎤，有
D
,
Q
D, Q
D,Q的列空间是相同的，我们只是将原来的基标准正交化了。
##3.QR分解
我们曾经用矩阵的眼光审视消元法，有 A = L U A=LU A=LU。同样的，我们也用矩阵表达标准正交化， A = Q R A=QR A=QR，这里的 R R R是一个上三角矩阵upper triangular matrix 。
设矩阵 A A A有两个列向量 [ a 1 a 2 ] \Bigg[a_1 a_2\Bigg] [a1a2]，则标准正交化后有 [ a 1 a 2 ] = [ q 1 q 2 ] [ a 1 T q 1 a 2 T q 1 a 1 T q 2 a 2 T q 2 ] \Bigg[a_1 a_2\Bigg]=\Bigg[q_1 q_2\Bigg]\begin{bmatrix}a_1^Tq_1& a_2^Tq_1\\a_1^Tq_2& a_2^Tq_2\end{bmatrix} [a1a2]=[q1q2][a1Tq1a1Tq2a2Tq1a2Tq2]，而左下角的 a 1 T q 2 a_1^Tq_2 a1Tq2始终为 0 0 0，因为Gram-Schmidt正交化总是使得 a 1 ⊥ q 2 a_1\bot q_2 a1⊥q2，后来构造的向量总是正交于先前的向量。所以这个 R R R矩阵是一个上三角矩阵。
##4.总结
1.标准正交基与正交矩阵；
2.Gram-Schmidt正交标准化；
3.QR分解（与LU分解的区别）。
#第十八讲：行列式及其性质
- 行列式最早是应用在用来判断方程组是否有解，在矩阵被发明后，行列式就拥有了更多的性质和应用。其强大之处在于将整个矩阵的信息压缩到了一个值当中。
- 行列式的英文名为determinant：决定因素，因为他可以决定方程组是否有解即矩阵是否可逆，从另外一个角度来理解，行列式代表了这个矩阵的特征，这是学习特征分解的前置概念。
##1.基础性质
本讲我们讨论出行列式（determinant）的性质：
行列式的基本性质：
性质1： det I = 1 ， 单 位 矩 阵 行 列 式 值 为 一 。 \color{red}{\det{I}=1，单位矩阵行列式值为一。} detI=1，单位矩阵行列式值为一。
性质2： 交 换 行 ， 行 列 式 变 号 。 \color{red}{交换行，行列式变号。} 交换行，行列式变号。
性质3： a. ∣ t a t b t c t d ∣ = t ∣ a b c d ∣ 。 \color{red}{\begin{vmatrix}ta& tb\\tc& td\end{vmatrix}=t\begin{vmatrix}a& b\\c& d\end{vmatrix}。 } ∣∣∣∣tatctbtd∣∣∣∣=t∣∣∣∣acbd∣∣∣∣。
b. ∣ a + a ′ b + b ′ c d ∣ = ∣ a b c d ∣ + ∣ a ′ b ′ c d ∣ 。 \color{red}{\begin{vmatrix}a+a'& b+b'\\c& d\end{vmatrix}=\begin{vmatrix}a& b\\c& d\end{vmatrix}+\begin{vmatrix}a'& b'\\c& d\end{vmatrix}。} ∣∣∣∣a+a′cb+b′d∣∣∣∣=∣∣∣∣acbd∣∣∣∣+∣∣∣∣a′cb′d∣∣∣∣。
由性质1和2可知，对置换矩阵有
det
P
=
{
1
e
v
e
n
−
1
o
d
d
\det P=\begin{cases}1\quad & even\\-1\quad & odd\end{cases}
detP={1−1evenodd。
举例：
∣
1
0
0
1
∣
=
1
,
∣
0
1
1
0
∣
=
−
1
\begin{vmatrix}1& 0\\0& 1\end{vmatrix}=1,\quad\begin{vmatrix}0& 1\\1& 0\end{vmatrix}=-1
∣∣∣∣1001∣∣∣∣=1,∣∣∣∣0110∣∣∣∣=−1，于是我们猜想，对于二阶方阵，行列式的计算公式为
∣
a
b
c
d
∣
=
a
d
−
b
c
\begin{vmatrix}a& b\\c& d\end{vmatrix}=ad-bc
∣∣∣∣acbd∣∣∣∣=ad−bc。
性质3(b)对于每行都单独成立，其他行则不变，即不能同时组合第一行和第二行。$det(A+B)≠det(A)+det(B) $。
2. 推导出的性质
更多的性质可以从以上的三条性质中推导出来。
性质4： 如 果 两 行 相 等 ， 则 行 列 式 为 零 。 使 用 性 质 2 交 换 两 行 易 证 。 \color{red}{如果两行相等，则行列式为零。使用性质2交换两行易证。} 如果两行相等，则行列式为零。使用性质2交换两行易证。
**性质5 **： 从 第 k 行 中 减 去 第 i 行 的 l 倍 ， 行 列 式 不 变 。 \color{red}{从第k行中减去第i行的l倍，行列式不变。} 从第k行中减去第i行的l倍，行列式不变。
解析：这条性质是针对消元的，我们可以先消元，将方阵变为上三角形式后再计算行列式。
举例： ∣ a b c − l a d − l b ∣ = 3. b ∣ a b c d ∣ + ∣ a b − l a − l b ∣ = 3. a ∣ a b c d ∣ − l ∣ a b a b ∣ = 4 ∣ a b c d ∣ \begin{vmatrix}a& b\\c-la& d-lb\end{vmatrix}\stackrel{3.b}{=}\begin{vmatrix}a& b\\c& d\end{vmatrix}+\begin{vmatrix}a& b\\-la& -lb\end{vmatrix}\stackrel{3.a}{=}\begin{vmatrix}a& b\\c& d\end{vmatrix}-l\begin{vmatrix}a& b\\a& b\end{vmatrix}\stackrel{4}{=}\begin{vmatrix}a& b\\c& d\end{vmatrix} ∣∣∣∣ac−labd−lb∣∣∣∣=3.b∣∣∣∣acbd∣∣∣∣+∣∣∣∣a−lab−lb∣∣∣∣=3.a∣∣∣∣acbd∣∣∣∣−l∣∣∣∣aabb∣∣∣∣=4∣∣∣∣acbd∣∣∣∣
性质6： 如 果 方 阵 的 某 一 行 为 零 ， 则 其 行 列 式 值 为 零 。 \color{red}{如果方阵的某一行为零，则其行列式值为零。} 如果方阵的某一行为零，则其行列式值为零。
证明：使用性质3（a）对为零行乘以不为零系数 l l l，使 l det A = det A l\det A=\det A ldetA=detA即可证明；或使用性质5将某行加到为零行，使存在两行相等后使用性质4即可证明。
性质7： 有 上 三 角 行 列 式 U = ∣ d 1 ∗ ⋯ ∗ 0 d 2 ⋯ ∗ ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ d n ∣ ， 则 det U = d 1 d 2 ⋯ d n 。 \color{red}{有上三角行列式U=\begin{vmatrix}d_{1}& *& \cdots& *\\0& d_{2}& \cdots& *\\\vdots& \vdots& \ddots& \vdots\\0& 0& \cdots& d_{n}\end{vmatrix}，则\det U=d_1d_2\cdots d_n。} 有上三角行列式U=∣∣∣∣∣∣∣∣∣d10⋮0∗d2⋮0⋯⋯⋱⋯∗∗⋮dn∣∣∣∣∣∣∣∣∣，则detU=d1d2⋯dn。
证明：使用性质5，从最后一行开始，将对角元素上方的 ∗ * ∗元素依次变为零，可以得到型为 D = ∣ d 1 0 ⋯ 0 0 d 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ d n ∣ D=\begin{vmatrix}d_{1}& 0& \cdots& 0\\0& d_{2}& \cdots& 0\\\vdots& \vdots& \ddots& \vdots\\0& 0&\cdots&d_{n}\end{vmatrix} D=∣∣∣∣∣∣∣∣∣d10⋮00d2⋮0⋯⋯⋱⋯00⋮dn∣∣∣∣∣∣∣∣∣的对角行列式，再使用性质3将对角元素提出得到 d n d n − 1 ⋯ d 1 ∣ 1 0 ⋯ 0 0 1 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ∣ d_nd_{n-1}\cdots d_1\begin{vmatrix}1& 0& \cdots& 0\\0& 1& \cdots& 0\\\vdots& \vdots& \ddots& \vdots\\0& 0& \cdots& 1\end{vmatrix} dndn−1⋯d1∣∣∣∣∣∣∣∣∣10⋮001⋮0⋯⋯⋱⋯00⋮1∣∣∣∣∣∣∣∣∣，得证。
性质8： 当 矩 阵 A 为 奇 异 矩 阵 时 ， det A = 0 ； 当 且 仅 当 A 可 逆 时 ， 有 det A ≠ 0 \color{red}{当矩阵A为奇异矩阵时，\det A=0；当且仅当A可逆时，有\det A\neq0} 当矩阵A为奇异矩阵时，detA=0；当且仅当A可逆时，有detA=0。
证明：如果矩阵可逆，则化简为上三角形式后各行都含有主元，行列式即为主元乘积；如果矩阵奇异，则化简为上三角形式时会出现全零行，行列式为零。
再回顾二阶情况： ∣ a b c d ∣ → 消 元 ∣ a b 0 d − c a b ∣ = a d − b c \begin{vmatrix}a& b\\c& d\end{vmatrix}\xrightarrow{消元}\begin{vmatrix}a& b\\0& d-\frac{c}{a}b\end{vmatrix}=ad-bc ∣∣∣∣acbd∣∣∣∣消元∣∣∣∣a0bd−acb∣∣∣∣=ad−bc，前面的猜想得到证实。性质9： det A B = ( det A ) ( det B ) \color{red}{\det AB=(\det A)(\det B)} detAB=(detA)(detB)。
解析：使用这一性质， det I = det A − 1 A = det A − 1 det A \det I=\det{A^{-1}A}=\det A^{-1}\det A detI=detA−1A=detA−1detA，所以 det A − 1 = 1 det A \det A^{-1}=\frac{1}{\det A} detA−1=detA1。
同时还可以得到： det A 2 = ( det A ) 2 \det A^2=(\det A)^2 detA2=(detA)2，以及 det 2 A = 2 n det A \det 2A=2^n\det A det2A=2ndetA，这个式子就像是求体积，对三维物体有每边翻倍则体积变为原来的八倍。性质10： det A T = det A 。 \color{red}{\det A^T=\det A。} detAT=detA。
前 面 一 直 在 关 注 行 的 属 性 给 行 列 式 带 来 的 变 化 ， 有 了 这 条 性 质 ， 行 的 属 性 同 样 适 用 于 列 ， 比 如 对 性 质 2 就 有 “ 交 换 列 行 列 式 变 号 ” 。 \color{red}{前面一直在关注行的属性给行列式带来的变化，有了这条性质，行的属性同样适用于列，比如对性质2就有“交换列行列式变号”。} 前面一直在关注行的属性给行列式带来的变化，有了这条性质，行的属性同样适用于列，比如对性质2就有“交换列行列式变号”。
证明： ∣ A T ∣ = ∣ A ∣ → ∣ U T L T ∣ = ∣ L U ∣ → ∣ U T ∣ ∣ L T ∣ = ∣ L ∣ ∣ U ∣ \left|A^T\right|=\left|A\right|\rightarrow\left|U^TL^T\right|=\left|LU\right|\rightarrow\left|U^T\right|\left|L^T\right|=\left|L\right|\left|U\right| ∣∣AT∣∣=∣A∣→∣∣UTLT∣∣=∣LU∣→∣∣UT∣∣∣∣LT∣∣=∣L∣∣U∣，值得注意的是， L , U L, U L,U的行列式并不因为转置而改变，得证。
