고윳값 분해 (2)

Created at

2018/12/02

Updated at

•

NNN차원의 정방행렬 AAA가 NNN개의 고윳값과 이에 대응하는 고유벡터를 가질 때, 그 고윳값과 고유벡터를 다음과 같이 표시하자

◦

고윳값: λ1,λ2,⋯ ,λN\lambda_1, \lambda_2, \cdots, \lambda_Nλ1​,λ2​,⋯,λN​

◦

고윳벡터: v1,v2,⋯ ,vNv_1, v_2, \cdots, v_Nv1​,v2​,⋯,vN​

•

이 고윳값과 고유벡터를 묶어서 아래와 같이 고유벡터 행렬, 고윳값 행렬을 정의

◦

고유벡터 행렬 VVV: 고유벡터를 옆으로 쌓아서 만든 행렬

V = \begin{bmatrix} v_1 & \cdots & v_N \end{bmatrix},\quad V \in R^{N \times N}

◦

고윳값 행렬 Λ\LambdaΛ: 고윳값을 대각성분으로 가지는 대각행렬

\Lambda = \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ 0 & 0 & \cdots & \lambda_N \end{bmatrix}, \quad \Lambda \in R^{N \times N}

•

위와 같이 고유벡터행렬과 고윳값행렬을 정의하면 행렬과 고유벡터행렬의 곱은 고유벡터행렬과 고윳값행렬의 곱과 같음

AV = V\Lambda

◦

유도 과정

\begin{aligned} AV & = A \begin{bmatrix} v_1 & \cdots & v_N \end{bmatrix} \\ & = \begin{bmatrix} Av_1 & \cdots & Av_N \end{bmatrix} \\ & = \begin{bmatrix} \lambda_1 v_1 & \cdots & \lambda_2 v_N \end{bmatrix} \\ & = \begin{bmatrix} v_1 & \cdots & v_N \end{bmatrix} \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ 0 & 0 & \cdots & \lambda_N \end{bmatrix} \\ & = V \Lambda \end{aligned}

•

행렬의 대각화: 고유벡터행렬 $V$의 역행렬이 존재한다면 행렬을 다음처럼 고유벡터행렬과 고윳값행렬의 곱으로 표현 가능

A = V\Lambda V^{-1}

•

행렬이 대각화가능하려면 고유벡터가 선형독립이어야 함
(= 고유벡터행렬 VVV에 역행렬이 존재)

•

대각화가능한 행렬에 0인 고윳값이 없으면 항상 역행렬이 존재함

•

증명

◦

대각화가능 행렬 AAA: A=VΛV−1\quad A = V \Lambda V^{-1}A=VΛV−1

◦

AAA의 역행렬: A−1=(VΛV−1)−1=VΛ−1V−1\quad A^{-1} = (V \Lambda V^{-1})^{-1} = V \Lambda^{-1} V^{-1}A−1=(VΛV−1)−1=VΛ−1V−1

◦

대각행렬의 역행렬은 각 대각성분의 역수로 이루어진 대각행렬이므로 0인 고윳값이 없으면 항상 역행렬이 존재함

•

행렬 AAA가 실수인 대칭행렬이면 고윳값이 실수이고 고유벡터는 직교(orthogonal)함

•

만약 고유벡터가 크기가 1이 되도록 정규화된 상태라면 고유벡터 행렬 VVV는 다음과 같이 전치 행렬이 역행렬임

V^TV = VV^T = 1

V^{-1} = V^T

•

따라서, 대칭행렬은 항상 대각화가능

•

NNN차원 대칭행렬 AAA는 다음처럼 NNN개의 랭크-1 행렬 Ai=viviTA_i = v_i v_i^TAi​=vi​viT​의 합으로 표시할 수 있음

\begin{aligned} A & = V \Lambda V^T \\ & = \begin{bmatrix} v_1 & v_2 & \cdots & v_N \end{bmatrix} \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ 0 & 0 & \cdots & \lambda_N \end{bmatrix} \begin{bmatrix} v_1^T \\ v_2^T \\ \vdots \\ v_N^T \end{bmatrix} \\ & = \begin{bmatrix} \lambda_1 v_1 & \lambda_2 v_2 & \cdots & \lambda_N v_N \end{bmatrix} \begin{bmatrix} v_1^T \\ v_2^T \\ \vdots \\ v_N^T \end{bmatrix} \\ & = \sum_{i=1}^N \lambda_i v_i v_i^T \\ & = \sum_{i=1}^N \lambda_i A_i \\ & = \lambda_1 A_1 + \cdots + \lambda_N A_N \\ \end{aligned}

•

아래와 같은 이미지로 나타낼 수 있음

•

만약 0인 고윳값이 없다면 역행렬도 아래처럼 표시할 수 있음

A^{-1} = V \Lambda^{-1}V^T = \sum_{i=1}^N \dfrac{1}{\lambda_i}v_iv_i^T = \dfrac{1}{\lambda_1}A_! + \cdots + \dfrac{1}{\lambda_N}A_N

•

대칭행렬을 랭크-1 행렬의 합으로 분해할 때 각 요소는 모두 단위벡터인 고유벡터로 만들어진 행렬이므로 행렬의 놈이 1이 됨

•

하지만 고윳값은 크기가 다양하게 나타날 수 있음

•

따라서 고윳값이 작은 항을 몇 개 생략해도 원래의 행렬과 큰 차이가 나지 않을 것

\begin{aligned} A & = \lambda_1A_1 + \cdots + \lambda_NA_N \; (\lambda_1 > \cdots > \lambda_N) \\\\ & \approx \lambda_1A_1 + \cdots + \lambda_MA_M \; (N > M) \end{aligned}

•

공분산행렬: 임의의 실수 행렬 XXX에 대해 XTXX^TXXTX인 정방행렬

•

공분산행렬은 양의 준정부호임(positive semidefinite) - 음수인 고윳값은 없음

v^T(X^TX)v = (Xv)^T(Xv) = u^Tu \ge 0

◦

모든 벡터 vvv에 대해 공분산행렬에 대한 이차형식은 어떤 벡터의 제곱합이 됨

◦

따라서 0 또는 양수인 고윳값만 가짐

•

대칭행렬의 경우 다음 성질이 성립함

대칭행렬의 고윳값이 모두 양수이면 그 행렬은 양의 정부호(positive definite
)이다.

역으로 양의 정부호(positive definite)인 대칭행렬의 고윳값은 항상 양수이다.

•

공분산행렬에서는 다음 성질이 성립함 

◦

행렬 XXX가 풀랭크이면 이 행렬의 공분산행렬 XTXX^TXXTX의 역행렬이 존재한다.

그림: 양의 정부호 행렬에 대한 고윳값-고유벡터의 성질 (출처: 데이터 사이언스 스쿨 - 고윳값 분해)

N 차원 정방행렬 A에 대해 다음 성질이 성립한다.

행렬 AAA는 NNN개의 고윳값-고유벡터를 가진다. (복소수인 경우와 중복인 경우를 포함)

행렬의 대각합은 모든 고윳값의 합과 같다.

행렬의 행렬식은 모든 고윳값의 곱과 같다.

행렬 AAA가 대칭행렬이면 NNN개의 실수 고윳값을 가지며 고유벡터들이 서로 수직(orthogonal)이다.

행렬 AAA가 대칭행렬이고 고윳값이 모두 양수이면 양의 정부호(positive-definite)이고 역행렬이 존재한다. 역도 성립한다.

행렬 AAA가 어떤 행렬 X의 공분산행렬 XTXX^TXXTX이면 000 또는 양의 고윳값을 가진다.

행렬 XXX가 풀랭크이면 공분산행렬 XTXX^TXXTX은 역행렬이 존재한다.

참고 자료

•

데이터 사이언스 스쿨 - 고윳값 분해