Home

SVD (Singular Value Decomposition) $ $LU 행렬분해는 하나의 행렬을 두개의 행렬로 분해했고, LDU 행렬분해는 하나의 행렬을 세개의 행렬로 분해했었다. SVD는 고유값 분해 (EigenValue Decomposition)의 한계점을 극복할 수 있기에 유용하다. 고유값 분해는 일반적으로 정사각 행렬에만 적용이 가능한 데에 반해, SVD는 직사각행렬의 분해에도 사용이 될 수 있으며, 다양한 형태의 추가적인 분해가 가능하다. Unitary Matrix, Conjugate Transpose $\ $ SVD 연산에 있어서 각 행렬들이 갖는 특징 중 대표적인 것이 Unitary or orthog...

Permutation Matrix $\ $수학 특히, 행렬 이론에서 Permutation matrix 는 모든 행과 열에 1이 한 번씩만 기록되는 정사각형 형태의 binary matrix (1이 아닌 원소는 모두 0) 중 하나이다. $P$ 로 표현되는 이 행렬은 다른 행렬 $A$ 와 곱해졌을 때(\(PA\) 또는 \(PA\) ) 해당 행렬 \(A\) 의 행 또는 열의 원소들의 순서를 바꾸는 역할을 한다. Definition $\ $ 다음과 같이 $m$ 개의 원소들이 정의역으로 주어지면 $m$ 개의 치역을 반환하는 단순한 함수의 형태이다. $$\pi : \left\{ 1,...,m \right\} \rightarro...

LU, LDU decomposition $ $ Matrix Decomposition의 기본적 형태인 LU, LDU decomposition에 대해서 정리해보자. Decomposition은 Factorization으로 불리기도 하는데, 특정 매트릭스를 2개 이상의 매트릭스로 분리하는 것이다. 예를 들어, \(m \times m\) 행렬을, \(m \times n\) 행렬과 \(n \times m\) 행렬 총 두개의 행렬로 분해하는 것이다. 다항식에서 우리가 인수분해를 하는 것과 비슷하며, 우리가 다항식의 인수분해서 얻을 수 있는 이점과 비슷한 이점을 매트릭스 분해에서도 얻을 수 있다. 해당 매트릭스와 연관된 line...

Positive Definite 행렬 & Semi positive Definite 행렬 Symmtric matices 들의 중요성 \(\mathbf{S} = \mathbf{S}^T\) 를 만족하는 대칭 행렬들은 중요한 특성들을 지닌다. 이 행렬들의 고윳값과 고유벡터에 대해서 다음과 같은 성질이 성립한다. 대칭 행렬 \(\mathbf{S}\) 들의 모든 $n$ 개의 고유값 $\lambda$ 는 모두 실수이다. $n$개의 고유벡터 $q$들은 모두 서로 직교한다. (orthogonal) \(\mathbf{S}\) 행렬의 모든 eigenvector들은 서로 orthogonal이며, 각 벡터들의 크기를...

Multi-Armed Bandits (MAB) $\ $MAB 문제를 정의하고, 이 문제를 베이지안 관점에서 해결해보자. 우리가 $N$ 개의 슬롯머신을 마주하고있다고 가정하자. 각각의 슬롯머신이 보상을 줄 확률은 각기 다르며, 우리는 이 값을 현재 알지 못한다. 한 번에 한개의 슬롯머신을 택하면서, 우리는 어떻게 해야 우리의 보상을 최대화할 지에 대해 고민해야한다. 예를 들어, 4개의 슬롯머신이 있고, 각각의 머신이 보상을 줄 확률은 (0.1, 0.3, 0.65, 0.8) 이라고 해보자. 네번째에 해당하는 슬롯머신이 가장 높은 확률로 보상을 준다는 것을 알게되면 우리는 당연히! 네번째 머신만 계속해서 ...

사전분포에 대한 고찰 $\ $베이즈 추론에서, 어떤 사전확률분포를 선택해야 하는가에 대한 논쟁을 아직도 계속되고있다. 이에 대한 문제들을 짚고 넘어가자. 또한, 데이터셋이 증가함에 따라 사전분포의 영향이 어떻게 변해가는 지에 대해 살펴보자 주관적 사전분포 vs 객관적 사전분포 $\ $단어의 어감이 한국어로 넘어오면서 이질감이 생기는데, 객관적(objective) 사전분포는 사후분포에 거의 영향을 끼치지 않을 정도로 어느정도 거리를 두고 물러서 있는, 객관성을 유지하려는 사전분포 정도로 해석하면 될 듯 하다. 반대로 주관적(subjective) 사전분포는 사후분포에 분명이 영향을 끼치며, 우리가 이미 알고있는 도메인...

Financial prediction 제곱오차손실 함수가 항상 최고? (다양한 형태의 손실함수) $\ $미래 실제 주식 수익률이 1% 정도로 매우 작다고 가정해보자. 주식 수익률 예측 모델에서는 기존의 제곱오차손실 방법을 사용하기에는 뚜렷한 한계점이 있다. 예를 들어 모델의 예측을 통해 우리가 3%의 수익을 얻었을 때와, 모델의 예측을 통해 1%의 손실을 봤을 때, 제곱오차손실 방법론은 이를 같은 loss로 취급한다. $$ (0.01 - (-0.01))^2 = (0.01 - 0.03)^2 = 0.004 $$ $\ $즉, 방향의 개념 또는 양수, 음수의 개념을 포함할 수 없다는 것이 문제가 된다. 다음의 그래프를 ...

프로그래머를 위한 베이지안 with 파이썬 서적의 Loss Function 챕터의 추론을 정리했다. The Price is Right 이 TV쇼의 규칙 $\ $’The Price is Right’ 쇼케이스에서 가격을 최적화하는 베이지안 추론을 진행해보자. 규칙은 다음과 같다. 두 참가자가 쇼케이스에서 겨루게 된다. 각 참가자는 각각 다른 구성의 상품을 보게 된다. 상품을 관찰한 뒤 참가자는 자신들 앞에 놓인 상품의 가격을 써낸다. 써낸 가격이 실제 가격보다 높다면 그 참가자는 탈락한다. 써낸 가격이 실제 가격보다 $250 이내라면 참가자는 승리하고 상품을 경품으로 받는다. 사전확률분포 지...