Pattern Recognition

2. Random Variable & Probability Distribution

2022. 8. 5. 23:43
목차
  1. 1. 확률변수와 확률분포
  2. 1) 확률분포함수의 종류
  3. 2) 벡터 확률변수(다변수 확률변수)

한성대학교 지준교수님 강의자료를 통해 기초적인 개념들을 다지고자 한다.

 

1. 확률변수와 확률분포

  • 확률변수란?

확률변수(random variable)란 확률실험에 따라 정의되는 표본공간 S의 모든 원소를 실수 값을 대응시키는 함수이다. 즉, 확률실험 시행 결과 각각은 확률변수에 의해 실수 값으로 표현될 수 있다. 확률변수의 종류는 주사위 굴리기와 같은 이산변수(discrete variable), 몸무게, 키와 같은 연속변수(continuous variable)가 있다.

X:S→R, that is For s∈S, X(s)∈R

 

확률변수

 

  • 확률분포란?

확률분포는 수치로 대응된 확률변수의 개별 값들이 가지는 확률값의 분포이며, 확률변수가 취할 수 있는 값을 확률공간상에 대응시키는 함수를 '확률분포함수'라고 한다.

ex) 두 개의 동전을 던지는 확률 실험에서 앞면이 나오는 숫자의 확률분포

 

  • 확률변수의 평균(기대값)

먼저 구분해 볼 개념은 표본(sample, 일반 데이터)의 성질들을 표본성질이라고 하며, 확률분포의 성질은 모델(또는 모집단) 성질이라고 한다. 따라서 표본과 모집단의 성질을 다음과 같이 구분한다.

  평균 분산
표본 x― s2
모집단 μ σ2

어떤 표본이 있을 때 nx를 x값을 갖는 자료점의 수라고 하면 상대도수를 nxn와 같이 표현할 수 있다. 이때 표본평균을 다음과 같이 표현할 수 있다.

x―=1n∑i=1nxi=1n∑allxnxx=∑allxxnxn

 

이산자료의 모집단의 경우, n값을 증가시키면 즉, 표본의 개수를 늘리면 nxn는 통계적 확률에 접근한다. 이때의 기대값(expectation)은 다음과 같이 표현되며, 이는 어떤 실험을 무수히 반복했을 때 예상되는 평균 값을 의미한다.

E[x]=μ=∑allxxp(x)

연속확률변수의 경우 다음과 같이 표현된다.

E[x]=μ=∫−∞∞xfX(x)dx

 

  • 확률변수의 분산

이산형 자료 표본의 분산은 다음과 같다(nxn는 상대도수를 의미).

s2=1n∑i=1n(xi−x―)2=∑allx(xi−x―)2nxn

 

이산자료 모집단의 분산은 n 값을 증가시키면 상대도수가 통계적 확률에 근사하게 되며 다음과 같이 표현할 수 있다.

σ2=∑allx(x−μ)2p(x)

연속형 자료 모집단의 분산은 다음과 같이 표현한다.

Var[X]=E[(X−E(X))2]=∫−∞∞(x−μ)2fX(x)dx

std[X]=Var[X]1/2

 

참고로 분산은 다음과 같이도 표현할 수 있다.

Var(X)=E[X2]−E[X]2

 

1) 확률분포함수의 종류

  • 누적분포함수

확률변수 X의 누적분포함수(cumulative distribution function; cdf) FX(x)는 확률변수 X가 {X≤x}일 확률함수이다.

FX(x)=P(X≤x), for −∞<x<∞

cdf 종류

 

  • 확률밀도함수

확률변수 X의 확률밀도함수(probability density function; pdf) fX(x)는 연속확률변수 X의 누적분포 FX(x)의 미분값으로 정의한다. 

fX(x)=dFX(x)dX

 

이산확률변수에서는 확률밀도함수와 동일한 개념으로 누적분포 FX(x)의 차분값으로 정의하며, 이를 확률질량함수(probability mass function, pmf)라고 한다.

fX(x)=ΔFX(x)ΔX

 

확률밀도함수는 다음과 같은 성질들이 있다.

  • fX(x)≥0
  • P( a < X < b ) = \int_{a}^{b}f_{X}(x)dx
  • FX(x)=∫−∞xfX(x)dx
  • 1=∫−∞∞fX(x)dx
  • fX(x|A)=ddxFX(x|A), where FX(x|A)=P({X<x}∩A)P(A), ifP(A)>0

확률밀도함수는 확률의 밀도를 정의하는 것이므로, 실제 확률을 얻기 위해서는 확률밀도함수를 일정구간에서 적분해야한다. 반면에 확률질량함수는 실제 확률을 나타낸다.

 

2) 벡터 확률변수(다변수 확률변수)

  • 벡터 확률변수란?

확률 변수가 2개 이상 존재하는 경우 확률변수의 개념을 확장하여 열(column) 벡터로 정의된다. 예를 들어, 학생들을 키와 몸무게로 표현한다면 확률변수가 2개가 되는 것이다(각 확률변수를 feature로 이해하면 좀 더 편하다). 확률변수가 2개인 경우 이중(binary) 랜덤변수라고 하며, 표본공간 S에 두 개의 확률변수 X,Y가 있을 때 각 표본값은 순서쌍 (x,y)으로 표현되는 새로운 표본공간(이를 결합 표본공간이라고 함)의 xy평면 상의 점에 대응된다. 그리고 누적분포함수, 확률밀도함수의 개념도 "결합 누적분포함수(joint cdf)"와 "결합 확률밀도함수(joint pdf)"로 확장된다.

 

 

단일 확률변수의 누적 분포함수는 다음과 같다.

FX(x)=P(X≤x), FY(y)=P(Y≤y)

이중(binary) 확률변수의 누적 분포함수는 다음과 같이 표현한다.

FX,Y(x,y)=P(X≤x,Y≤y), P(X≤x,Y≤y)=P(A∩B)

 

여러 확률변수로 구성된 랜덤 벡터 X=[X1,X2,⋯,XN]T가 주어졌을때, 결합 누적분포함수(Joint Cumulative Density Function, joint cdf)는 다음과 같이 표현횐다.

FX(x)=PX[{X1≤x1}∩{X2≤x2}]∩⋯∩{X1≤x1}]

그리고 결합 확률밀도함수(Joint Probability Density Function; Joint pdf)는 다음과 같이 표현된다.

fX(x)=δNFX(X)δx1δx2⋯δxN

 

  • 랜덤 벡터의 통계적 특징

변수가 1개인 확률변수에서 평균과 분산을 정의하듯이 2개 이상의 확률변수에서도 평균과 분산을 정의할 수 있다.

먼저 평균은 다음과 같이 평균벡터로 표현된다.

μ=E[X]=[E[X1],E[X2],⋯E[XN]]T=[μ1,μ2,⋯,μN]T

다변수 확률변수에서 분산은 공분산행렬(Covariance Matrix)라고 하며, 다음과 같이 각 차원끼리의 공분산 값을 행렬로 표현한다.

Σ=COV[X]=E[(X−μ)(X−μ)T]=[E[(x1−μ1)(x1−μ1)]⋯E[(x1−μ1)(xN−μN)]⋮⋱⋮E[(xN−μN)(x1−μ1)]⋯E[(xN−μN)(xN−μN)]]=[σ12⋯c1N⋮⋱⋮cN1⋯σN2]

 

공분산 행렬의 성질은 다음과 같다.

  • cii=σi2=Var(Xi)
  • xi가 증가할 때 xk가 증가한다면 cik>0, xk가 감소한다면 cik<0
  • 두 변수 xi,xk가 상관성이 없다면 cik=0

 

  • 상관계수

랜덤 벡터들로 생성된 행렬 X의 공분산 행렬은 다음과 같이 정의될 수 있다.

Σ=E[(X−μ)(X−μ)T]=E[XXT]−μE[X]−μE[XT]+μμT=S−μμT

이때 S는 자기상관행렬로 다음과 같다.

S=E[XXT]=[E[x1x1]⋯E[x1xN]⋮⋱⋮E[xNx1]⋯E[xNxN]]

 

공분산행렬 Σ는 다음과 같이 상관행렬(correlation matrix)과 상관계수행렬과의 곱으로도 표현할 수 있다.

Σ=ΓRΓ=[σ10⋯00σ2⋮⋱⋮0 ⋯σN][1ρ2⋯ρ1Nρ121⋮⋱⋮ρ1N ⋯1][σ10⋯00σ2⋮⋱⋮0 ⋯σN]

 

 

728x90
저작자표시 비영리 변경금지 (새창열림)

'Pattern Recognition' 카테고리의 다른 글

4. Clustering (2)  (2) 2022.09.12
4. Clustering (1)  (0) 2022.09.11
3. Maximum Likelihood Estimation(MLE)  (0) 2022.08.06
(참고) Gaussian Distribution  (0) 2022.08.06
1. Probability  (0) 2022.08.04
  1. 1. 확률변수와 확률분포
  2. 1) 확률분포함수의 종류
  3. 2) 벡터 확률변수(다변수 확률변수)
'Pattern Recognition' 카테고리의 다른 글
  • 4. Clustering (1)
  • 3. Maximum Likelihood Estimation(MLE)
  • (참고) Gaussian Distribution
  • 1. Probability
Fine애플
Fine애플
이것저것
끄적끄적이것저것
Fine애플
끄적끄적
Fine애플
전체
오늘
어제
  • 분류 전체보기 (167)
    • 논문 및 개념 정리 (27)
    • Pattern Recognition (8)
    • 개발 (57)
    • python 메모 (45)
    • pytorch, tensorflow (5)
    • 알고리즘 (9)
    • Toy Projects (4)
    • 통계이론 (2)
    • Reinforcement Learning (10)

블로그 메뉴

  • 홈

공지사항

인기 글

태그

  • 알고리즘
  • 딥러닝
  • container
  • transformer
  • pandas
  • python
  • Docker
  • Probability
  • 개발환경
  • 자연어
  • Bert
  • PyTorch
  • nlp
  • reinforcement learning
  • 언어모델
  • BigBird
  • ubuntu
  • tensorflow
  • miniconda
  • GPU

최근 댓글

최근 글

hELLO · Designed By 정상우.
Fine애플
2. Random Variable & Probability Distribution
상단으로

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.