확률 기초 이론을 정리해두고자 한다. 머피 책 Machine Learning - A Probabilistic Perspective, 위키피디아를 참고하였다. 1. 확률이란? Probability theory is nothing but common sense reduced to calculation. — Pierre Laplace, 1812 확률(probability)에는 두 가지 관점이 있다. frequentist interpretation: it defines an event's probability as the limit of its relative frequency in many trials (the long-run probability) Bayesian interpretation: probabil..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 1. Maximum Likelihood Estimation(MLE) 확률에 대해 배울 때 여러가지 확률분포들을 배우게 된다. Guassian, binomial과 Bernoulli, Poisson 등등 empirical distribution을 제외하면 모두 모수(parameter)를 가지고 있는 분포들이다. 만약 샘플링한 데이터만 있고 원래의 확률분포를 추정하고 싶다면 어떻게 해야할까? 크게 두 가지 방법이 있다. 파라미터 추정법(Parameter Estimation): '확률밀도'에 대해 특정한 형태를 가정하고(e.g. Guassian) 분포를 결정짓는 파라미터(eg. $\mu, \sigma$)을 최대우도추정방법(MLE)방법을 통해..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 확률이론에서 기초가 되는 Gaussian Distribution에 대해 다뤄보고자 한다. 1. 단변량 가우시안(Univariate Gaussian) 단변량 가우시안 확률밀도 함수 평균(기대값)을 $\mu$, 표준편차를 $\sigma$라고 할 때, Gaussian 분포는 다음과 같이 표현한다. $$f(x) = N(\mu, \sigma) = \frac{1}{\sqrt[]{2\pi}\sigma}\text{exp}\left[ -\frac{1}{2}(\frac{x - \mu}{\sigma})^{2} \right]$$ 2. 다변량 가우시안(Multivariate Gaussian) 다변량 가우시안 확률밀도 함수 D차원의 다변량 가우시안 정규분포(..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 1. 확률변수와 확률분포 확률변수란? 확률변수(random variable)란 확률실험에 따라 정의되는 표본공간 $S$의 모든 원소를 실수 값을 대응시키는 함수이다. 즉, 확률실험 시행 결과 각각은 확률변수에 의해 실수 값으로 표현될 수 있다. 확률변수의 종류는 주사위 굴리기와 같은 이산변수(discrete variable), 몸무게, 키와 같은 연속변수(continuous variable)가 있다. $$X:S \rightarrow R, \ \text{that is For} \ s \in S, \ X(s) \in R$$ 확률분포란? 확률분포는 수치로 대응된 확률변수의 개별 값들이 가지는 확률값의 분포이며, 확률변수가 취할 수 있는 값..
한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다. 1. 통계 기초 및 확률 이론 Pattern recognition is the automated recognition of patterns and regularities in data(wikipedia) 패턴인식에서 통계학적인 기법들을 이용하여 데이터를 분석하고 확률기법들을 이용하여 데이터를 분류하거나 특성을 파악하는데 사용한다. 1) 통계용어 모집단(population): 데이터 분석의 관심이 되는 대상의 전체집합 표본(sample): 모집단의 부분집합으로 모집단의 특성을 파악하기 위해 수집된 개별 집단 표본 분포(sample distribution): 동일한 모집단에서 샘플링된 동일한 크기의 모든 가능한 표본으로부터 얻어진 통계값..
