2. Mathematics for ML - (1) Determinant and Trace

Part 1. Matrix Decomposition 

(1) Determinant and Trace

 

* extra

행렬식은 영어로 determinant라고 합니다. 그 의미를 파악하기 위해 먼저, 간단하게 2 * 2 행렬을 살펴봅시다.

첫 행렬로 (1,0), (0,1) 두 벡터로 구성된 행렬을 봅시다. 이 두 벡터를 좌표공간에 표현하면 아래 그림의 좌측과 같은 행태로 그릴 수 있습니다. 그리고 두 벡터를 이용해 만들 수 있는 우측 도형의 면적이 해당 행렬의 행렬식의 절대값 입니다. 이렇게, 행렬식의 절대값은 이 도형의 면적을 의미합니다. 

 

Determinant는 오직 정방행렬에 대해서만 정의된다. 정방행렬 A의 determinant란 A를 실수로 mapping하는 함수이다. 
정방행렬 A가 invertible인지 아닌 지를 알아보자. 가장 작은 행렬의 경우 우린 행렬이 invertible일 때를 알고 있다. 만약 A가 1×1행렬이라면, 즉, scalar라면 A = a -> A⁻¹ = 1/a 이다. a≠0이라면 a×(1/a)=1이 성립하기 때문이다. 2×2 행렬이라면, inverse의 정의에 의해 AA⁻¹ = I인 것을 알고 있다. 그러므로, a₁₁a₂₂-a₁₂a₂₁ ≠ 0 (4.3)이라면 A는 invertible하다. 바로 a₁₁a₂₂-a₁₂a₂₁라는 이 수가 2×2 행렬 A의 determinant이다. 즉, 다음과 같다.

 

 

* extra 

행렬식(determinant)의 의미

앞서 말한 내용을 정리하면 행렬식의 절대값은 '부피'라고 생각할 수 있습니다. 이 사실로부터 개념을 조금 확장시켜보면, 행렬식이 0이라는 것은 어떤 의미일까요 ? 행렬을 구성하는 벡터가 0 벡터가 아닌데 각 벡터로 구성된 도형의 부피가 0이라는 사실은 행렬을 구성하는 벡터가 서로 동일선상(colinear)에 있다는 것을 의미합니다. 이는 행렬의 구성하는 벡터가 해당 공간의 기저가 아님을 의미하는데, 이는 나중에 기저와 차원을 다룰 때 자세히 설명하도록 하겠습니다. 

 

예를 들어 행렬을 구성하는 행이나 열의 순서를 바꾸어도 행렬식의 절대값은 바뀌지 않습니다. 이는 벡터의 순서를 바꾸어도 공간을 구성하는 벡터의 순서만 바뀔뿐 벡터가 구성하는 도형의 부피는 바뀌지 않기 때문입니다. 또한 det(AB) = det(A) det(B) 라는 성질의 의미는 다음과 같습니다. 행렬 A를 선형변환이라고 생각하고 행렬 B를 기존의 도형이라고 생각하면, 행렬 B를 선형변환 했을 때의 부피를 det(AB)라고 생각할 수 있다고 생각합니다. 그럼 우변은 어떨까요 ? det(A)는 선형변환 기저의 부피라고 생각할 수 있고 det(B)를 곱함으로써 선형변환 이후의 부피, 즉 좌변과 같아진다고 볼 수도 있을 것 같습니다.

 

따라서 3 * 3 행렬은 아래의 그림과 같이 2 * 2 행렬의 recursive formular로 정의 됩니다. 이는 3 * 3 행렬의 determinant가 2 * 2 행렬의 determinant로 재정의 될 수 있기 때문에 중요합니다. 이러한 expansion을 laplace expansion이라고 합니다. 이러한 형태를 generalization해서 determinant를 정의하게 됩니다. 

 

 

이렇게 determinant는 다음과 같은 정의가 됩니다.  이는 column determinant와 row determinant로 따로 따로 정의할 수 있고, 각각의 determinant의 값은 결국 같습니다. 즉, determinant가 0이냐 아니냐에 따라, 어떤 matrix A가 역행렬이 존재하냐 가역행렬(invertible matrix)이 존재하냐로 나뉠 수 있습니다. 

 

 

 

Trace: 어떤 matrix가 있으면, 그 matrix의 어떤 diagonal entry를 다 더한 형태를 trace라고 합니다. Trace는 곱셈에 의해 분해되는 determinant와 다르게 덧셈에 대해 분해됩니다. 

 

 

* extra

A가 2*2일 때, ad-bc != 0 이면 A는 invertible이다. 그러나, ad-bc = 0 이면 A는 not invertible이다.

ad-bc는 pivot position이 2개 있을 조건을 의미하며, determinat(결정자)라고 부른다. 

→ 어떤 matrix가 invertible을 판단할 때, determinant가 0인지 아닌지는 확인하면 된다.