Pattern Recognition
[ML] KL Divergence, Cross Entropy, Likelihood
wikepedia 내용을 정리하고자 한다. 일반적으로 loss 관점에서만 설명되는 글들이 많은데 확률분포 추정에서의 접근이 더 근본적인 방식이다. 1. KL Divergence(Kullback-Leibler Divergence) KL Divergence는 두 확률분포가 $P,Q$가 있을 때 두 분포가 얼마나 다른지를 측정하는 계산식이다. 정의와 예시는 이 wiki에 있다. $$D_{KL}(P \ || \ Q) = \sum_{x \in X}P(x) \text{log} (\frac{P(x)}{Q(x)})$$ 2. Cross Entropy (1) 정의 정보이론에서 cross-entropy는 두 확률 분포 p 와 q를 구분하기 위해 필요한 평균 비트 수를 의미한다. In information theory, th..
