wikepedia 내용을 정리하고자 한다. 일반적으로 loss 관점에서만 설명되는 글들이 많은데 확률분포 추정에서의 접근이 더 근본적인 방식이다. 1. KL Divergence(Kullback-Leibler Divergence) KL Divergence는 두 확률분포가 $P,Q$가 있을 때 두 분포가 얼마나 다른지를 측정하는 계산식이다. 정의와 예시는 이 wiki에 있다. $$D_{KL}(P \ || \ Q) = \sum_{x \in X}P(x) \text{log} (\frac{P(x)}{Q(x)})$$ 2. Cross Entropy (1) 정의 정보이론에서 cross-entropy는 두 확률 분포 p 와 q를 구분하기 위해 필요한 평균 비트 수를 의미한다. In information theory, th..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 0. Density Estimation Density Estimation(밀도 추정)은 관찰된 데이터가 있을 때, 해당 데이터 분포에 내재된 확률밀도함수(probability density function)을 추정하는 방법이다(확률 함수가 아닌 확률밀도함수이다). $$\begin{array}{} f_{X}(x) \text{ is pdf}\\ P[a\le X\le b] = \int_{a}^{b}f_{X}(x)dx \\ \end{array}$$ 대표적으로 Non-Parametric Density Estimation 방법인 Histogram, Kernel Density Estimation 등이 있다. 또한 Parametric Density..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. GMM 내용은 여기와 여기를 많이 참고하였다. 앞선 글에서 비모수적(non-parametric) 클러스터링 알고리즘 종류들을 살펴보았다. 이 글에서는 모수적(parameter) 클러스터링의 대표적인 방법인 GMM을 살표보고자 한다. 1. GMM(Gaussian Mixture Model) GMM은 혼합가우시안 모델로 여러개의 Gaussian 분포를 선형결합해서 만든 분포라는 뜻이다. 실제 현실에서의 복잡한 데이터 분포를 설명할 때 적합하다. 아래와 같은 데이터는 하나의 Gaussian 분포로는 설명이 어렵기 때문에 여러개를 합쳐서 표현할 수 있다. 1) GMM 수식 먼저 Gaussian Distribution(Normal Distrib..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 클러스터링은 크게 비모수적(non-parametric) 방법과 모수적(parametric) 방법으로 나뉜다. 두 방법의 대표적인 알고리즘들을 살펴보고자 한다. 0. Parametric, Non-parametric Methods Parametric modeling은 통계모델링의 한 종류로 유한한 개수의 parameter를 지닌 확률 분포를 가정하여 데이터에 대한 분포를 모델링하는 방법이다(e.g. Gaussian Mixture Model). Nonp-parametrinc modeling은 데이터에 대한 parametric 확률 분포를 가정하지 않거나 모델 또한 고정되어있지 않다는 것을 가정한 추정 방식이다(e.g. K-Means clu..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 1. Maximum Likelihood Estimation(MLE) 확률에 대해 배울 때 여러가지 확률분포들을 배우게 된다. Guassian, binomial과 Bernoulli, Poisson 등등 empirical distribution을 제외하면 모두 모수(parameter)를 가지고 있는 분포들이다. 만약 샘플링한 데이터만 있고 원래의 확률분포를 추정하고 싶다면 어떻게 해야할까? 크게 두 가지 방법이 있다. 파라미터 추정법(Parameter Estimation): '확률밀도'에 대해 특정한 형태를 가정하고(e.g. Guassian) 분포를 결정짓는 파라미터(eg. $\mu, \sigma$)을 최대우도추정방법(MLE)방법을 통해..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 확률이론에서 기초가 되는 Gaussian Distribution에 대해 다뤄보고자 한다. 1. 단변량 가우시안(Univariate Gaussian) 단변량 가우시안 확률밀도 함수 평균(기대값)을 $\mu$, 표준편차를 $\sigma$라고 할 때, Gaussian 분포는 다음과 같이 표현한다. $$f(x) = N(\mu, \sigma) = \frac{1}{\sqrt[]{2\pi}\sigma}\text{exp}\left[ -\frac{1}{2}(\frac{x - \mu}{\sigma})^{2} \right]$$ 2. 다변량 가우시안(Multivariate Gaussian) 다변량 가우시안 확률밀도 함수 D차원의 다변량 가우시안 정규분포(..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 1. 확률변수와 확률분포 확률변수란? 확률변수(random variable)란 확률실험에 따라 정의되는 표본공간 $S$의 모든 원소를 실수 값을 대응시키는 함수이다. 즉, 확률실험 시행 결과 각각은 확률변수에 의해 실수 값으로 표현될 수 있다. 확률변수의 종류는 주사위 굴리기와 같은 이산변수(discrete variable), 몸무게, 키와 같은 연속변수(continuous variable)가 있다. $$X:S \rightarrow R, \ \text{that is For} \ s \in S, \ X(s) \in R$$ 확률분포란? 확률분포는 수치로 대응된 확률변수의 개별 값들이 가지는 확률값의 분포이며, 확률변수가 취할 수 있는 값..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 1. 통계 기초 및 확률 이론 Pattern recognition is the automated recognition of patterns and regularities in data(wikipedia) 패턴인식에서 통계학적인 기법들을 이용하여 데이터를 분석하고 확률기법들을 이용하여 데이터를 분류하거나 특성을 파악하는데 사용한다. 1) 통계용어 모집단(population): 데이터 분석의 관심이 되는 대상의 전체집합 표본(sample): 모집단의 부분집합으로 모집단의 특성을 파악하기 위해 수집된 개별 집단 표본 분포(sample distribution): 동일한 모집단에서 샘플링된 동일한 크기의 모든 가능한 표본으로부터 얻어진 통계값..
