제1 장 확률과 랜덤변수	정보공학과 확률론 상대 빈도수에 의한 확률 공리에 의한 확률 연속시행 확률 전체확률의 정리와 Bayes 규칙 이산적 랜덤변수 연속적 랜덤변수 결합분포 통계적 평균

1-1  정보공학과 확률론

오늘날 정보통신기술과 컴퓨터기술은 인터넷의 등장과 함께 매우 빠른 속도로 발달되어 지구촌이 마치 한 가족처럼 생활할 수 있는 디지털 세상을 만들어 가고 있다. 언제, 어디서나, 어떠한 형태의 정보도 실시간으로 교환할 수 있는 꿈의 통신은 이제 현실로 다가와 있으며, 그를 통한 다양한 서비스 구조들이 사용자들에게 제공됨으로써 이른바 □지식기반 정보화사회□가 눈앞에 펼쳐지고 있는 것이다. 한편 정보통신기술과 컴퓨터기술은 네트워크를 통하여 자연스럽게 결합되어 보다 효율적이고 신뢰성 있는 정보의 취급이 가능해 짐은 물론 초고속, 원거리 통신에서 발생할 수 있는 심각한 문제점들도 점차 해결되어, 과거 이상(ideal)으로만 생각했던 정보통신체계가 빠르게 실현되어 가고 있는 것이다.

	정보이론

제 1 장 확률과 랜덤변수

일반적으로 이러한 정보통신체계가 갖추어야 하는 필수적 특성으로는 고속으로 원거리 전송을 수행할 뿐 아니라 효율성과 신뢰성을 유지할 수 있는 전송(transmission) 특성과, 다량의 정보를 신속하게 보관 혹은 추출하면서도 오류를 발생시키지 않는 저장(storage) 특성을 들 수 있다.

정보공학은 바로 이러한 정보의 본질과 처리에 관한 제반 내용을 정량적으로 연구하는 학문분야이다. 정보원(information source)으로부터 나오는 원천재료의 인코딩(source encoding)과 정보의 전송이나 저장에 있어서 발생되는 오류를 제어하기 위한 인코딩(channel encoding)은 정보통신시스템에 있어서 실질적으로 사용되고 있는 정보의 표현방법이며, 이들의 본질을 밝히고자 하는 정보이론의 체계를 포함하여 정보공학의 기반이 이루어지는 것이다.

인코딩의 한계와 규칙성을 부여하는 것은 소위 □정보이론□ 혹은 □통신이론□이라는 이름으로 1940년대 후반에 등장하였으며, 코딩이론과 정보이론은 상호 밀접한 관계를 유지하면서 매우 방대한 내용으로 발전되어 왔다. 이들이 모두 정보공학의 연구대상이다.

.  정보공학의 기본적 아이디어가 알려진 것은 1940년대보다 훨씬 앞서지만, 1948년 C.E.Shannon이 □통신의 수학적 이론□에 관한 두 편의 논문을 발표함으로써 확고한 기반을 세우게 되었다고 할 수 있다. 당시, Shannon은 이 이론을 □정보이론(information theory)□ 혹은 □통신이론(communication theory)□이라 명명한 바 있다.

실질적으로 정보(information)는 신호(signal)에 의하여 표현된다. 특히 오늘날의 정보공학에서 말하는 정보는 거의 전기신호(electrical signal)에 의하여 표현된다고 할 수 있다. 정보가 인코딩되어 이진수로 변환된 경우에도 전송 혹은 저장 등 그 처리를 위해서는 □0□과 □1□을 표시하는 전기신호에 의하여 표현되어야 할 것이다. 이러한 관점에서 전기신호는 정보를 표현하는 필수적 도구이며, 수학적으로는 시간영역 함수(time-domain function) 등으로 나타낼 수 있다.

전기신호의 형태는 관점에 따라 여러 가지로 분류할 수 있다.

정의역 전체에 대하여 그 함수의 값이 해석적으로 정확히 알려지는 신호를 확정신호(deterministic signal)라 부른다. 확정신호는 일반적인 신호의 모델이나 요소로 자주 사용되며 보통의 실함수(real function)에 의하여 표현된다. 따라서 확정신호는 모든 순간에 있어서 그 값이 정확하게 알려지고 미래의 모든 함수값을 정확히 예측할 수 있으므로 정보공학의 관점에서 아무런 정보도 포함하지 못한다.(제6장 참조)  왜냐하면 어떤 신호가 일정량의 정보를 포함하고자 한다면, 그 신호의 값이 모든 시점에 대하여 확정되어서는 안되며, 미래의 함수값에 대하여 일정량의 불확정성을 가져야만 하기 때문이다. 뒤에서 상세히 논의되겠지만, 신호에 포함된 불확정성의 양이 바로 그 신호가 갖는 정보의 양이 되는 것이다.

확정신호와 상반된 특성을 가진 신호를 랜덤신호(random signal)라 한다. 랜덤신호는 그 함수값이 무작위적으로 변화하므로 미래의 값을 확정적으로 예측할 수 없다. 예를 들어 통신시스템의 채널 상에서 발생되는 잡음(noise)을 생각하여 보자. 보통 잡음신호의 함수값은 전혀 예측할 수 없거나 혹은 예측할 수 있다 하더라도 평균에 근거한 통계적인 예측만을 가능하게 한다. 이러한 의미에서 이들을 통계적신호라 부르기도 한다.

이와 같이 랜덤신호는 정의역에 대하여 그 함수값이 확정되지 않으므로 실함수에 의해서는 표현할 수 없다. 따라서 이들을 적절히 취급하기 위해서는 평균(average)의 개념에 근거를 둔 확률론(probability theory)을 도입할 수밖에 없는 것이다.

뒤에서 자세히 논의하겠지만, 정보공학에 있어서 랜덤신호의 개념은 대단히 중요하다. 모든 정보채널은 필연적으로 잡음의 영향을 받게 되며, 이는 디지탈화를 통하여 오류(error)로 나타난다. 잡음이 랜덤신호이므로 오류도 랜덤신호로 표현된다. 한편, 통신시스템을 통하여 전달되는 신호가 정보를 포함하기 위해서는 그것이 수신측에 의하여 확정적으로 예측되어서는 안된다. 다시 말해서 정보를 포함하는 신호도 항상 랜덤신호라는 것이다.

이처럼 통신시스템에서 다루어지는 중요한 두 가지 신호, 즉 정보신호와 잡음신호가 모두 랜덤신호로 표현된다는 사실은 확률론이 정보공학의 수학적 근거를 이루고 있다는 것을 말해 준다. 특히 정보공학에서는 신호가 포함하는 정보의 양을 자주 측정하게 되는데, 이를 위하여 우리는 각 신호요소의 발생확률들을 사용한 정량적 분석을 행하게 된다.

확률론은 정보공학의 제반 이론을 전개하기 위하여 도입된 수학적 도구이며, 우리는 이 장을 통하여 그 기본 개념을 취급하기로 한다. 다만, 여기에서 제시하는 확률론의 범위는 이 책의 내용을 학습하는 데 필요한 개념들을 상세히 설명하는 정도로 한다.

1-2  상대빈도수에 의한 확률

확률론(probability theory)은 기대효과를 다루는 응용수학의 한 분야이다. 동전이나 주사위를 던지는 시행(trial)이나 카드를 뽑는 시행 등으로부터 나타나는 결과(outcome)를 예측하고자 한다면 독자들은 바로 이러한 기대효과의 개념을 상기하게 될 것이다.

확률론적인 모든 시행의 결과는 우리가 예상할 수 없는 여러 가지 요인에 의하여 달라질 수 있다. 그러므로 이들의 특성을 어떤 확정된 수식에 의하여 표현하는 것은 불가능하다. 그렇다면 이들을 수학적으로 어떻게 다룰 것인가? 확률론은 바로 이러한 문제에 대한 해결 방법으로서, 분석하려는 시행을 무한히 반복하여 이로부터 나타나는 결과를 평균(Average)하여 취급하는 경험적 방법을 제시하게 된다. 직관적인 하나의 예로서, 완전한 주사위를 한번 던지는 시행을 생각하여 보자. 이 시행에서 나타날 수 있는 여섯 가지 결과는 평균적으로 동일한 기대효과를 가질 것으로 생각되므로, 예컨대 눈이 □3□이 될 확률은 1/6로 평가되는 것이다.

하나의 정의된 시행으로부터 나타날 수 있는 모든 결과의 집합을 그 시행의 표본공간(sample space)이라 하며 보통 대문자 S로 표시한다. 따라서 각 시행의 결과는 표본공간의 원소가 된다.

표본공간의 부분집합을 사건(event)이라 한다. 집합론에서 말하는 부분집합의 정의에 따라, 사건에는 하나의 원소로 표현되는 결과(outcome)도 포함되며, 원소가 없는 공사건(empty event :[eqn: phi]) 및 모든 원소를 갖는 전체사건(certain event : S)도 포함된다.

요컨대 어떤 사건의 기대효과를 평가하는 관점은 대단히 자연스럽게 이루어지는 것이다. 예를 들어서 8월에 대구의 기온이 20℃ 이상일 확률은 그 이하일 확률보다 높을 것이다. 완전한 동전을 던지는 시행에 있어서 앞면(Head)과 뒷면(Tail)이 나타날 확률은 같을 것으로 예상하는 것이 자연스럽다. 이는 동전을 무한히 여러 번 던졌을 때 앞면과 뒷면이 거의 같은 횟수로 나타날 것이라는 기대효과에 근거를 두고 있다. 이러한 예들은 우리로 하여금 사건의 기대효과를 경험적으로 취급하는 확률의 정의에 도달할 수 있는 실마리를 제공한다

N번 반복되는 어떤 시행에 있어서, 사건 A가 m번 나타났다고 하면, 사건 A에 대한 확률 [eqn: p(A)]는 다음과 같이 정의할 수 있다.

[eqn: p`(A`)`` == ``lim from N->INF m over N]	(1-1)

이를 확률의 상대빈도수 정의(relative-frequency definition)라 한다. 이 정의에 있어서, 우리는 묵시적으로 N→∞에 대한 m/N의 극한값이 존재한다고 가정하였다.

또한 확률은 0보다 크거나 같고 1보다 작거나 같은 사실을 알 수 있다. 즉

[eqn: 0``□``p`` (A`)``□``1]	(1-2)

어떤 시행에 있어서 동시에 발생할 수 없는 두 사건을 배타적 사건(exclusive event) 혹은 비결합 사건(disjoint event)이라고 한다.

예를 들어, 두 개의 완전한 주사위를 던지는 시행에 의하여 발생되는 다음과 같은 사건들을 고려하여 보자.

A1 : 나타난 두 눈의 합이 10인 사건

A2 : 나타난 두 눈의 합이 11인 사건

A3 : 나타난 두 눈 중 적어도 하나가 6인 사건

만일 사건 A1이 발생하면, 사건 A2가 동시에 발생할 가능성은 전혀 없다. 따라서 사건 A1의 발생은 사건 A2의 발생 가능성을 배제한다고 볼 수 있다. 또한 사건  A2가 발생하더라도 사건 A1은 전혀 발생할 수 없다. 그러므로 사건 A1, A2는 상호 배타적이다.

그러나 사건 A1과 사건 A3는 동시에 발생할 가능성이 있다. 예로서, 두 개의 주사위로부터 각각 6, 4가 나타나게 되면 사건 A1과 사건 A3를 동시에 만족시킨다. 따라서 사건 A1, A3는 상호 배타적이라고 할 수 없다. 마찬가지로 사건 A2와 A3도 상호 배타적이 아니다.

두 개의 사건 A,  B의 합집합(union)으로 표시되는 사건 A∪B를 생각하여 보자. 집합론에서 합집합의 정의에 따르면, 사건 A∪B는 사건 A 혹은 사건 B 혹은 이들이 동시에 발생한 경우를 규정하는 사건이다. 만일 이러한 시행이 N번 수행되어 사건 A와 사건 B가 각각 m1, m2번 발생하였다고 가정하고, A와 B가 상호 배타적일 때, 사건 A∪B가 발생한 횟수는 m1／m2가 될 것이다. 따라서 사건 A∪B에 대한 확률은 다음과 같이 표현된다.

. 이 책 전체를 통하여, 하나의 사건에 대한 확률을 표시할 때에는 소문자를 사용하여 p(A)와 같이 나타내고, 두 개 이상의 사건이 결부된 확률을 표시할 때에는 대문자를 사용하여 P(A∪B)와 같이 표시하기로 한다.

[eqn: P`(A∪B`)``Ａ``lim from { N-> inf } { m sub 1 ／ m sub 2} over N ``Ａ``p`(A`)``／``p`(B`)]	(1-3)

여기서 사건 A와 B는 상호 배타적이다. 만일 상호 배타적이라는 조건이 성립되지 아니하면, 사건 A와 B는 동시에 발생할 가능성이 있다. 따라서 사건 A∪B가 발생하는 경우의 수는 m1／m2보다 작아지며, 이에 따라 다음의 부등식이 성립한다.

[eqn: P`(A`∪B`)``□``p`(A`)``／``p ` (B`)]	(1-4)

여기서 등식은 사건 A, B가 상호 배타적일 때 성립한다.

식(1-3)은 임의의 사건 A1, A2, …, An에 대하여 쉽게 확장될 수 있다. 다시 말해서 A1, A2, …, An이 모두 상호 배타적일 때

[eqn: P``({ A sub 1}∪{A sub 2} `∪`…`∪{A sub n})~Ａ~p`(A sub1 )`／`p`(A sub 2})`／`…`／`p`( A sub n )]	(1-5)

이 성립한다.

어떤 시행에 의하여 발생한 사건 A1, A2, …, An이 상호 배타적이며 이들의 합집합이 표본공간(전체집합)을 이룰 때, 우리는 이들 n 개의 사건을 전멸사건(exhaustive events)라 한다.  이 때

[eqn: p`( A sub 1 )``／``p`(A sub 2 )``／``…``／``p`(A sub n ) ~ Ａ ~ 1]	(1-6)

이 성립한다.

이는 확률의 상대빈도수 정의 식(1-1)로부터 쉽게 유도된다. 주어진 시행이 N번 반복되고, 사건 A1, A2, …, An이 각각 m1, m2, …, mn번 발생하였다고 가정하면, 각 사건에 대한 확률은

[eqn: p`(A sub i ) ~Ａ``lim from { N->inf} `{ m sub i over N} ,~~i``Ａ``1,`2,`…,`n]	(1-7)

로 주어진다. 따라서

[eqn: p`(A sub 1 )``／``p`(A sub 2 )``／``…``／``p`(A sub n )~Ａ``lim from{ N-> inf} `{ m sub 1 ``／`` m sub 2 ``／``…``／`` m sub n } over N]	(1-8)

와 같이 쓸 수 있으며, 여기서 각 사건들은 모두 상호 배타적이고 이들의 합집합은 표본공간이므로 식(1-8)의 좌변은 전체사건에 대한 확률 [eqn: p(S)]이고, 우변의 분자 [eqn: m_1 `+` m_2 `+` cdots `+` m_n]은 시행횟수 N과 같다. 따라서 우변의 극한값은 1이며, 식(1-6)은 성립한다.

또한 각 사건들이 상호 배타적이라는 조건과 식(1-5) 및 식(1-6)을 이용하면

[eqn: P`(A sub 1 ∪ A sub 2 ∪`…`∪A sub n )~Ａ~1]	(1-9)

와 같은 식을 얻을 수 있다. 여기서 사건 (A1∪A2∪…∪An)은 A1, A2, …, An 중에서 어느 하나라도 발생하는 경우를 표시한다. 한편 A1, A2, …, An은 전멸사건이라고 가정하였으므로 사건 (A1∪A2∪…∪An)은 전체사건 S가 되므로 식(1-9)에 의하여

[eqn: p`(S)~Ａ~1]	(1-10)

이 된다. 이러한 결과는 직관적으로도 명백하다.

[예제 1] 52장의 카드가 들어있는 완전한 카드함으로부터 한 장의 카드를 무작위로 뽑는 시행에 있어서 다음과 같은 사건이 발생할 확률을 구하라.

(1) [eqn: A_1] : ♥ Ace가 나타나는 사건

(2) [eqn: A_2] : Ace가 나타나는 사건

(3) [eqn: A_3] : 10 이상의 카드가 나타나는 사건

(□ 여기서 J(11), Q(12), K(13), A(14) 등으로 정한다.)

[풀이]

[eqn: p(A_1 ) = 1 over 52 , ~~~~p(A_2 ) = 4 over 52 , ~~~~ p(A_3 ) = 20 over 52]

comments   앞으로 표본공간의 각 원소가 모두 동일한 가능성을 가지고 나타나는 시행에 대해서는 완전한(fair) 동전, 완전한 주사위, 완전한 카드함 등으로 표현하며, 이와는 반대로 일부 원소에 가능성을 더 주거나 덜 주는 시행에 대해서는 치우친(biased) 동전, 치우친 주사위, 치우친 카드함 등의 표현을 쓰기로 한다. 또한 아무런 언급이 없는 경우에는 완전한 것으로 가정한다. 이 예제와 같이 완전한 경우에는

[eqn: {해당~사건의~ 원소~ 수} over {표본공간의 ~원소 ~수} ~~~~~혹은 ~~~~~ {해당~ 경우의~수} over {전체 ~ 경우의 ~수}]

등의 계산으로 해당되는 확률을 구할 수 있다.

[예제 2] 세 개의 완전한 동전을 던져 앞면(H) 한 개와 뒷면(T) 두 개가 나올 확률을 구하라.

[풀이]

표본공간의 모든 결과를 나열하면

(1) HHH     (2) HHT     (3) HTH     (4) HTT

(5) THH     (6) THT     (7) TTH     (8) TTT

와 같은 8가지이다. 이들 중 원하는 결과는 (4), (6), (7)이므로 구하는 확률은 3/8이다.

1-3  공리에 의한 확률

앞 절에서 취급하였던 상대빈도수에 의한 확률의 정의는 확률론을 처음 접하는 사람들이 이해하기 쉽다. 그러나 수학적인 관점으로는 그 성립조건이 대단히 미약한 것이 사실이다.

실제적인 시행에 있어서 시행횟수 N은 대단히 큰 수는 될 수 있으나 언제나 유한한 수이다. 그렇다면 확률 p(A)의 값을 정확하게 얻으려면 시행횟수 N의 값은 얼마이어야 하는가? 상대빈도수 정의에 있어서 이러한 질문은 대답하기 거북하다. 사실 시행횟수 N이 대단히 큰 수가 된다 하더라도 식(1-1)의 극한은 우리가 원하는 값에 정확히 도달할 수 없는 것이다. 아주 작은 가능성이지만, 동전을 100번 던져 그 결과가 모두 앞면(Head)을 나타낼 수도 있을 것이다. 이러한 상황으로 볼 때 상대빈도수 정의는 그 수학적 기반이 대단히 미약하다. 따라서 우리는 이러한 기반 위에 강력한 수학적 구조를 형성시킬 수 없는 것이다.

이러한 이유 때문에, 확률을 취급함에 있어서도 보통의 수학적 이론이 형성되는 근본적인 과정으로 돌아가 보는 것은 매우 중요한 일이다. 광범위하게 말해서 수학의 모든 분야는 공리(axiom)로부터 출발한다. 누구나 인정할 수 있는 몇 가지 사실(공리)을 근거로 하여 그 보다 복잡한 사실들을 차례로 추론해 나가는 연역적 방법이 바로 수학적 이론을 성립시키는 근간이다.

확률론에 있어서도 어떤 정의되지 않은 개념으로부터 출발하여 이들 개념 사이에서 누구나 인정할 수 있는 특성과 관계들을 가정하여 보자. 이들이 바로 공리가 될 것이다. 다음으로 이러한 공리들을 근거로 하여 여러 가지 명제(propositions)들이 얻어지는데, 우리는 이들을 정리(theorem)라고 한다. 이것이 바로 보통의 수학적 논리가 형성되는 근본이다. 그러므로 공리는 수학의 모든 분야에 있어서 가정된 실마리라고 할 수 있다.

하나의 수학적 공리가 성립하기 위한 유일한 조건은 공리집합(the set of axioms) 내의 다른 공리들과 모순됨이 없이 일관된 관계를 유지하여야 한다는 것이다. 다시 말해서 공리집합 내의 모든 공리는 그 수학적 논리를 인정하는 합리성에 근거하여 그 집합 내의 다른 공리와 모순되지 않아야 한다.

그러나 어떤 수학적 분야가 우리의 공학과 같은 실제적인 현상에 적용되고자 한다면, 그 분야를 뒷받침하고 있는 모든 공리들은 실질적으로 일어나는 현상에 엄밀하게 합치되어야 한다는 또 하나의 조건을 만족하여야만 한다. 왜냐하면 이러한 실질적 조건이 만족되어야만 그것을 이용하여 직접 물리적 현상에 대한 수학적 모델을 설정할 수 있을 것이기 때문이다.

따라서 어떠한 공리들을 제시할 것이냐 하는 문제는 몇 가지 실제적인 현상과 함께 규정되어야 한다. 또한 이렇게 제시된 공리들은 실제적인 현상과의 관계를 통하여 면밀하게 확인되어야 한다. 만일 공리들이 실제적 현상을 고려하여 규정된다면, 그로부터 연역적 방법에 의하여 유도되는 모든 수학적 정리(theorem)들은 당연히 실제적인 현상에 부합하게 될 것이다.

이와 같은 배경을 가지고 확률론에 대한 공리적 접근을 시도하여 보자.

확률론의 출발점인 정의되지 않은 개념(undefined concepts)은 바로 확률(probability)이다. 확률에 대하여 실제적인 현상을 고려한 공리들을 가정하여야 한다. 확률론에 있어서 실제적인 현상이란 기대효과를 가지는 여러 가지 시행이라 할 수 있으며, 이러한 실제적 현상들은 앞에서 설명한 상대빈도수 정의에 의하여 합리적으로 취급될 수 있다. 따라서 우리가 부여하고자 하는 확률론의 공리들은 상대빈도수 정의에 의하여 유도된 누구나 인정할 수 있는 기본적 사실들로 규정될 수 있을 것이다.

상대빈도수 정의에 의하여 유도된 식(1-2), 식(1-3) 및 식(1-10)을 확률론의 공리로 제시한다. 그러나 이들을 공리로 사용한다고 하더라도 식(1-1)의 상대빈도수 정의를 사용하는 것이 아니라는 사실을 명심하라. 우리는 단지 확률론이 적용되는 모든 시행에 대하여 기대효과를 취급함에 있어서 이들 세 가지 공리가 상호 모순됨이 없으며 실제적 현상들과도 부합된다는 사실을 인정하고자 하는 것이다.

확률의 정의되지 않은 개념과 이들 세 가지 공리에 근거하여 명제들을 추론하고 이를 입증하여 정리들을 세워나감으로써 광범위한 이론으로 전개되는 것이다. 이러한 과정이 바로 현대 확률론의 연역적 체계를 세우는 근간이다.

사건 A에 대한 확률은 그 사건에 부여된 하나의 실수 p(A)이다. 이는 명백한 함수관계를 나타내며, 이 확률함수(probability function)에 대하여 다음과 같은 세 가지 공리를 제시한다.

[eqn: p(A`)``□``0]	(1-11)

[eqn: p(S`)``Ａ``1]	(1-12)

[eqn: P`(A∪B`)``Ａ``p`(A`)``／``p`(B`)]	(1-13)

여기서 S는 전체사건(혹은 표본공간)을 나타내며, 사건 A, B는 상호 배타적이다.

앞 절에서 제시하였던 상대빈도수에 의한 접근방식에 있어서는 먼저 식(1-1)에 의하여 확률 p(A)를 정의하고, 이 정의로부터 식(1-11), 식(1-12), 식(1-13) 등을 유도하였다. 반면 공리에 의한 접근방식에서는 사건 A에 대한 확률 p(A)를 부여하는 방법에 대해서는 전혀 언급하지 않고, 다만 이러한 확률함수 p(A)가 기본적으로 만족하여야 하는 공리들을 식(1-11), 식(1-12), 식(1-13) 등으로 제시한 것이다.

앞에서도 논의된 바와 같이, 수학적 모델이 실제적 현상을 표현할 수 있게 하기 위해서는 이들 확률들을 실제적 상황과 부합되도록 할당하여야 할 것이다. 그러므로 모든 확률들은 물리적 법칙이나 실험에 의한 결과를 고려하여 합리적으로 부여되어야 한다. 일반적으로 하나의 사건에 대한 확률은 식(1-1)에 주어진 상대빈도수 정의를 도구로 부여되고 있다는 사실은 명백하다. 그러나 공리적 접근방법은 묵시적으로 상대빈도수 정의를 이용하면서도 그 빈약한 수학적 기반에 대한 책임은 교묘하게 회피하고 있다고 볼 수 있다. 아무튼 사건에 대한 확률의 할당이 실제적으로 정확하게 이루어진다면, 이로부터 출발되는 공리적 확률론의 모든 추론은 올바른 실제적 현상들을 표현하게 될 것이다

1-4  연속시행 확률

이 절에서는 두 가지(혹은 여러 가지) 시행이 연속적으로 행하여 질 때 나타나는 결과와 사건에 대한 확률들을 취급하고자 한다. 이 때 두 시행은 반드시 차례로 시행되어야 하는 것은 아니며, 이들이 동시에 시행되는 경우도 유사한 개념으로 다루어질 수 있다.

연속시행(2-stage or multi-stage trials)은 일반적으로 다음과 같은 두 가지 형태로 분류된다.

1. 종속시행(dependent trials) : 기대효과가 서로 종속되어 있는 연속시행

예를 들어서, □하나의 동전을 던져, 앞면이 나오면 카드함에서 1장의 카드를 뽑고 뒷면이 나오면 카드함에서 2장의 카드를 뽑는□ 연속시행을 고려하여 보자. 첫 번째 시행인 □동전을 던지는□ 시행과 두 번째 시행인 □카드를 뽑는□ 시행은 서로 종속되어 있으며, 두 번째 시행에서 얻는 확률은 첫 번째 시행의 결과에 따라 달라지게 된다. 이러한 연속시행을 종속시행이라 한다.

2. 독립시행(independent trials) : 기대효과가 서로 독립되어 있는 연속시행

예를 들어서, □하나의 동전을 연속적으로 두 번 던지는□ 연속시행을 고려하자. 두 번째 시행에서 얻는 확률은 첫 번째 시행의 결과에 아무런 영향을 받지 않는다. 이러한 연속시행을 독립시행이라 한다.

다음 예제를 통하여 이들의 개념을 좀 더 확실히 이해하여 보자.

[예제 3] 52장의 카드가 들어있는 완전한 카드함으로부터 연속적으로 두 장의 카드를 뽑는 연속시행을 생각하자. 첫 번째 시행에서 Ace를 뽑는 사건을 A라 하고, 두 번째 시행에서 Ace를 뽑는 사건을 B라 할 때 확률 [eqn: p`(B`)]를 구하라.

[풀이] 이 문제에 대하여 다음과 같은 두 가지 경우로 나누어 생각할 수 있다.

① 첫 번째 시행에서 뽑은 카드를 도로 카드함에 넣고 두 번째 시행을 하는 경우

두 번째 시행은 첫 번째 시행의 결과에 아무런 영향을 받지 않는다. 따라서 이는 독립시행이며, 구하는 확률은

[eqn: p`(B`) ~=~ 4 over 52 ~=~ 1 over 13]

② 첫 번째 시행에서 뽑은 카드를 도로 카드함에 넣지 않고 두 번째 시행을 하는 경우

두 번째 시행의 확률이 첫 번째 시행의 결과에 따라 달라지는 종속시행이다. 이 때에는 첫 번째 시행에서 사건 A가 발생한 경우와 발생하지 않은 경우로 나누어 생각해야 하며, 이들 두 경우는 상호배타적이다. 따라서 구하는 확률은

[eqn: p`(B`) ~=~ 4 over 52 cdot 3 over 51 ~+~ 48 over 52 cdot 4 over 51 ~=~ 1 over 13]

comments   위의 두 번째 경우, 즉 종속시행에 있어서의 확률 [eqn: p`(B`)]는 사실 제 1-5 절에서 설명할 전체확률(total probability)이다. 우리는 아직 조건확률 및 전체확률의 개념을 다루지 않은 상태이므로 여기서는 고등학교 수학에서 배웠던 방법을 우선 사용하였다. 또한 이 예제의 결과로부터 첫 번째 시행에서 뽑힌 카드를 도로 카드함에 집어넣거나 말거나 두 번째 시행에서 Ace를 뽑을 확률은 동일하다는 사실을 알 수 있다. 이는 뒤에서 전체확률의 개념과 함께 자세히 설명할 것이다.

연속시행을 좀 더 체계적으로 취급하기 위해서는 몇 가지 새로운 개념을 도입해야 한다. 즉, 종속시행인 경우에는 조건확률(conditional probability)의 개념을, 독립시행인 경우에는 독립사건(independent events)의 개념을 각각 도입하며, 이들에 대하여 공통으로 결합사건(joint event)의 개념을 필요로 한다.

연속시행에 있어서도 각각의 시행은 별도의 표본공간을 소유하게 된다. 만일 첫 번째 시행에서 사건 A가 발생하고 두 번째 시행에서 사건 B가 발생하였다면, A는 첫 번째 시행의 표본공간으로부터 얻어진 부분집합이고 B는 두 번째 시행의 표본공간으로부터 얻어진 부분집합이다. 이들 두 가지 사건이 동시에 발생한 경우를 사건 A□B로 표시하며 이를 결합사건이라 부른다. 또한 결합사건에 대한 확률을 결합확률(joint probability)이라 하고 [eqn: P`(A,`B`)]로 표시한다.

첫 번째 시행에서 사건 A가 발생했다는 조건 하에서 두 번째 시행으로부터 사건 B가 발생할 확률을 □A에 대한 B의 조건확률(conditional probability)□이라 하고 [eqn: P`(B vert A)]로 표시한다. 이는 사건 A가 발생했다는 사실이 알려진 상태에서 사건 B가 발생할 확률을 재평가한 양을 나타낸다. 다시 말해서 사건 A를 전체집합(즉, 표본공간)으로 하여 사건 B가 발생할 확률을 계산한 것이다. 반대로, 두 번째 시행에서 사건 B가 발생했다는 조건 하에서 첫 번째 시행으로부터 사건 A가 발생했을 확률을 □B에 대한 A의 조건확률□이라 부르며 [eqn: P`(A vert B)]로 표시한다.

. [eqn: P`(B vert A)]는 □probability of B given A□와 같이 읽는다.

주지하는 바와 같이, [eqn: P`(B vert A)]는 시행의 순서에 따라 구성되었으며, [eqn: P`(A vert B)]는 시행의 순서와 반대로 구성된 조건확률이다. 전자를 전향 조건확률(forward conditional probability), 후자를 후향 조건확률(backward conditional probability)이라 부른다. 이들의 개념은 뒤에서 정보채널(information channel)을 다룰 때 매우 중요한 역할을 하게 된다.

이제, 상대빈도수 정의를 사용하여 결합확률과 조건확률에 대한 표현을 유도하여 보자. 확률론의 공리들로부터 이러한 표현을 유도하는 것은 불가능하다. 그러므로 우리는 상대빈도수 정의에 의하여 실제적 상황에 부합하도록 이를 유도하고, 유도된 식을 정의로 사용할 것이다.

두 개의 개별시행으로 이루어지는 연속시행을 N 번 수행하였다고 가정하고, 이 중 사건 A가 발생한 횟수를 n1이라고 하자. 이 n1 번의 연속시행 중에서 사건 B가 n2 번 발생하였다고 가정하면, n2는 명백히 결합사건 A□B가 발생한 횟수를 표시한다. 따라서 결합확률은

[eqn: P`(A,`B`) & Ａ~lim from N->inf n _2 over N# &Ａ~lim from N->inf ` n_1 over N cdot n_2 over n_1]

(1-14)

와 같이 나타낼 수 있다. 이 식은 두 개의 극한값이 곱해져 있는 형태인데, 앞의 것은 명백히 사건 A에 대한 확률 [eqn: p`(A`)]이고, 뒤의 것은 사건 A를 표본공간으로 하여 사건 B의 확률을 계산한 것, 즉 조건확률 [eqn: P`(B vert A`)]이다. 따라서 식(1-14)는 다음과 같이 정리된다.

[eqn: P`(A,`B`)~Ａ~p`(A`)`P`(`B vert A`)]	(1-15)-

이는 결합확률과 조건확률의 관계를 표현하며, 우리는 이 식을 이용하여 다음과 같이 조건확률을 정의한다.

[eqn: P`(B vert A`) ~==~ {P`(A,`B`)} over {p`(A`)}, ~~ p`(A`)~ !=~ 0]	(1-16)

또한 대칭성(symmetry)을 이용하면 후향 조건확률에 대한 관계식

[eqn: P`(A vert B`) ~Ａ~ {P`(A,`B`)} over {p`(B`)}, ~~p`(B`) ~ !=~ 0]	(1-17)

을 얻을 수 있다.

식(1-16)과 식(1-17)을 서로 적용하여 정리하면

[eqn: P`(A vert B`) ~Ａ~ {p`(A`)`P`(B vert A`)} over {p`(B`)} # # # P`(B vert A`) ~Ａ~ {p`(B`)`P`(A vert B`)} over {p`(A`)}]

(1-18)

와 같은 두 개의 식을 얻을 수 있으며, 이를 조건확률에 관한 Bayes 규칙(Bayes□ rule)이라 부른다. 이 규칙은 전향 조건확률과 후향 조건확률의 관계를 명시하는 매우 유용한 공식이다.

지금까지 우리는 연속시행에 있어서의 두 사건이 서로 영향을 받는 이른바 종속시행에 대하여 살펴보았다. 그렇다면 이와 상반된 개념인 독립시행에 대해서는 어떻게 취급해야 하는가? 우리는 위에서 제시한 조건확률의 개념을 이용하여 다음과 같이 독립사건을 정의할 수 있다.

연속시행에 있어서의 전향 조건확률이 그 조건에는 무관하게

[eqn: P`(B vert A`) ~Ａ~ p`(B`)]	(1-19)

로 표현될 때, □사건 B는 사건 A에 대하여 독립□이라고 한다.

만일 사건 B가 사건 A에 대하여 독립이면, 식(1-19)를 식(1-18)에 대입하여

[eqn: P`(A vert B`) ~Ａ~ p`(A`)]	(1-20)

를 얻는다. 따라서 □사건 B가 사건 A에 대하여 독립□이면, □사건 A도 사건 B에 대하여 독립□이고, 이 두 사건은 서로 독립이다. 이러한 관계를 갖는 두 사건 A, B를 독립사건(independent events)이라 한다.

만일 사건 A, B가 서로 독립이면, 식(1-15)와 식(1-19)에 의하여 결합확률은

[eqn: P`(A,`B`) ~Ａ~ p`(A`) `p`(B`)]	(1-21)

와 같이 표시된다. 식(1-21)은 두 사건 A, B가 독립일 필요충분조건이다.

독립사건에 관한 이러한 내용을 세 개의 사건 A, B, C에 대하여 확장하면, 직관적으로

[eqn: P`(A,`B,`C`) ~Ａ~ p`(A`)`p`(B`)`p`(C`)]	(1-22)

와 같은 식을 얻을 수 있다. 그러나 이 조건은 세 개의 사건 A, B, C가 서로 독립일 조건으로는 불충분하다. 다시 말해서 식(1-22)는 사건 A, B, C가 독립이기 위한 필요조건이지만 충분조건은 아니다.

만일 사건 A, B, C가 독립이면, 이들 중 어떤 두 개의 사건도 서로 독립이므로

[eqn: &P`(A,`B`) ~Ａ~ p`(A`)`p`(B`) ## &P`(B,`C`) ~Ａ~ p`(B`)`p`(C`) ## &P`(C,`A`) ~Ａ~ p`(C`)`p`(A`)]	(1-23)

와 같은 식들이 성립한다. 그러나 식(1-22)가 성립한다고 하더라도 식(1-23)은 성립하지 않을 수도 있다는 것이다.

따라서 세 개의 사건 A, B, C가 서로 독립이기 위해서는 식(1-22)와 식(1-23)이 동시에 성립하여야 하며, 이들 네 개의 식이 필요충분조건이다.

일반화하여, n 개의 사건 A1, A2, …, An이 서로 독립이기 위한 필요충분조건은 다음과 같이 표현된다.

[eqn: P`(A_i_1 ,` A_i_2 ,` …,` A_i_m `) &Ａ~ p`(A_i_1 )` p`(A_i_2 )` …`p`(A_i_m ) ## 여기서 &~ m ~Ａ~2,~3,~…,`n # & ~1 ``□`` i_1 `` ＠ ``i_2 `` ＠ `` … `` ＠ ``i_m `` □ `` n]

(1-24)

[예제 4] 52장의 카드가 들어있는 완전한 카드함으로부터 연속적으로 두 장의 카드를 뽑는 연속시행을 생각하자. 이 때, 처음 뽑힌 카드는 카드함에 원위치 시키지 않는 것으로 한다.

이 때, 첫 번째 시행에서 Ace를 뽑는 사건을 A라 하고, 두 번째 시행에서 Ace를 뽑는 사건을 B라 할 때 다음 확률들을 구하라.

(1) [eqn: p`(A`)]    (2) [eqn: P`(B vert A`)]    (3) [eqn: P`(A vert B`)]    (4) [eqn: P`(A,`B`)]

[풀이] 이 문제의 연속시행은 앞에서 풀어 보았던 [예제 3]의 ②번과 동일한 종속시행이다.

(1) 먼저, 확률 [eqn: p`(A`)]는 52장의 카드로부터 Ace를 뽑을 확률이다. 전체 원소수는 52, 사건 A 의 원소수는 4이므로 구하는 확률은  4/52 이다.

(2) 확률 [eqn: P`(B vert A`)]는 첫 번째 시행에서 Ace를 뽑았다는 조건 하에서 두 번째 시행으로부터 Ace를 뽑는 조건확률이다. 따라서 3/51이다.

(3) 확률 [eqn: P`(A vert B`)]는 후향 조건확률이다. 식(1-18)의 Bayes 규칙을 이용하면 다음과 같이 계산할 수 있다.

[eqn: P`(A vert B`) ~=~ {p`(A`) `P`(B vert A`)} over {p`(B`)} ~=~ {4/52 cdot 3/51} over {1/13} ~=~ 3 over 51]

여기서 확률 [eqn: p`(B`)]의 값은 [예제 3]에서 이미 구한 바 있다.

(4) 확률 [eqn: P`(A,`B`)]는 두 사건의 결합확률이다. 따라서 연속적으로 두 장의 Ace가 뽑힐 확률과 동일하므로

[eqn: P`(A,`B`) ~=~ 4 over 52 cdot 3 over 51 ~=~ 1 over 221]

와 같이 계산된다.

comments   이 예제를 통하여 독자들은 (2)번의 전향 조건확률과 (4)번의 결합확률의 차이점을 확실히 이해해 두어야 한다. 전향 조건확률은 사건 A를 표본공간으로 삼아 사건 B의 확률을 구하는 것이고, 결합확률은 두 사건이 동시에 발생할 확률을 구하는 것이다. 또한 식(1-15)∼식(1-18)의 종속시행에 대한 관계식들을 일일이 확인해 볼 필요가 있다.

[예제 5] 완전한 카드함에서 ♥-Ace를 뽑는 사건을 A라 하고, 완전한 동전을 던져 앞면이 나오는 사건을 B라 할 때, 결합사건 A□B가 발생할 확률을 구하라.

[풀이]

두 사건 A, B는 서로 독립이므로 식(1-21)을 이용하여 다음과 같이 계산된다.

[eqn: P`(A,`B`) ~=~ p`(A`)`p`(B`) ~=~ 1 over 52 cdot 1 over 2 ~=~ 1 over 104]

1-5  전체확률의 정리와 Bayes 규칙

연속시행 확률을 취급함에 있어서 첫 번째 시행이 두 번째 시행에 영향을 주는 경우, 즉 종속시행의 확률들은 앞 절에서 설명하였던 조건확률과 Bayes 규칙에 의하여 얻어질 수 있음을 보았다. 이 절에서는 이러한 개념을 좀 더 확장하여, 종속시행을 다룰 때 매우 유용한 전체확률의 정리(total probability theorem)를 유도하고, 이 정리와 Bayes 규칙과의 관계를 밝히고자 한다.

먼저, 하나의 연속시행을 예로 들어 전체확률의 개념을 파악해 보도록 하자.

첫 번째 시행 : 2 개의 흑구와 3 개의 백구가 들어있는 함에서 1 개의 공을 꺼낸다.

두 번째 시행: 만일 첫 번째 시행에서 꺼낸 공이 흑구이면 52 장의 카드가 들어있는 완전한 카드함에서 1 장의 카드를 뽑고,

만일 첫 번째 시행에서 꺼낸 공이 적구이면 16 장의 그림카드(J, Q, K, A) 만이 들어있는 카드함에서 1 장의 카드를 뽑는다.

두 번째 시행은 첫 번째 시행의 결과에 영향을 받고 있으므로 명백히 종속시행이다. 이 때, 두 번째 시행에서 □K□를 뽑을 확률은 얼마인가?

우선 첫 번째 시행의 결과는 오직 두 가지이며 이들의 확률은

[eqn: p`(B`) ~=~ 2 over 5 ~~~~~~~~~p`(W`) ~=~ 3 over 5]

로 주어진다. 여기서 결과 B는 흑구(black)를, 결과 W는 백구(white)를 나타낸다.

두 번째 시행으로부터 우리가 직접 얻을 수 있는 확률들은 다음과 같은 네 가지 조건확률이다.

[eqn: P`(K vert B`) ~=~ 4 over 52 ~~~~~~~ P`(barK vert B`) ~=~ 48 over 52 ## P`(K vert W`) ~=~ 4 over 16 ~~~~~~~ P`(barK vert W`) ~=~ 12 over 16]

여기서 사건 [eqn: barK]는 [eqn: K]의 여사건(complementary event)을 나타낸다. 사실 주어진 문제를 해결하는 데에는 위의 식들 중 여사건에 대한 조건확률은 필요 없다. 단지 논의를 분명히 하기 위해서 제시한 것이다.

우리가 구하려는 사건 K는 첫 번째 흑구를 꺼내고 이어서 □K□를 뽑는 사건과 첫 번째 백구를 꺼내고 이어서 □K□를 뽑는 사건의 합집합으로 볼 수 있다. 또한 이들 두 사건은 상호 배타적이다. 따라서 구하고자 하는 확률은

[eqn: p`(K`) &=~ P`(B,`K ~ or W,` K`) ## &=~ P`(B,`K)~+~ P`(W,` K`) ~~~(because ~ 두~ 사건은 ~상호~ 배타적이므로) ## &=~ p`(B`)`P`(K vert B`) ~+~ p`(W`)`P`(K vert W`) ~~(because ~식(1-15)) ## &=~ 2 over 5 cdot 4 over 52 ~+~ 3 over 5 cdot 4 over 16]

와 같이 계산된다.

이처럼 종속시행에 있어서, 두 번째 시행으로부터 나타나는 하나의 사건에 대한 확률을 전체확률(total probability)이라 하며, 이를 구하기 위해서는 첫 번째 시행에서 얻어지는 선험적 확률(a priori probability)들과 전향 조건확률들을 필요로 한다.

) [예제 3]의 ②는 바로 전체확률을 구하는 문제였음을 다시 한번 상기하라.

이러한 개념을 다음과 같이 일반화하여 보자.

<전체확률의 정리>

하나의 종속시행에 있어서, 첫 번째 시행의 표본공간을 S라 하고, 이 표본공간 위에 정의된 [eqn: n] 개의 사건[eqn: B_1 ,` B_2 , `cdots,` B_n]이 다음과 같은 두 가지 조건을 만족할 때(그림 1-1),

상호 배타성 : [eqn: B_i `cap B_j ~= emptyset ,~ i~!=~j ~=~1,`2,` cdots,` n]	(1-25)

전멸성 : [eqn: B_1 `cup B_2 `cup` cdots` cup B_n ~=~ S]	(1-26)

두 번째 시행에서의 사건 [eqn: A]에 대한 확률 [eqn: p(A)]는 선험적 확률과 전향 조건확률에 의하여 다음과 같이 표현된다.

[eqn: p`(A) &=` p(B_1 )`P(A vert B_1 ) `+` p(B_2 )`P(A vert B_2 ) `+` cdots `+` p(B_n )`P(A vert B_n ) ## &= sum_k=1^n` p`(B_k `)`P`(A vert B_k `)]	(1-27)

그림 1-1  전체확률의 정리를 설명하는 Venn diagram

<증명>

집합의 성질에 의하여 [eqn: A`=A `cap S]이므로 여기에 식(1-26)을 적용하면

[eqn: A ~=` A `cap S ~=` A `cap left(union_k=1^n B_k right) ~=` union_k=1^n (A `cap B_k )]	(1-28)

을 얻는다. 여기서 [eqn: B_1 , B_2 , cdots, B_n]은 식(1-25)에 나타낸 것처럼 상호 배타적인 사건들이므로, [eqn: A `cap B_1 ,` A `cap B_2 ,` cdots,` A `cap B_n] 들도 역시 상호 배타적이다. 이러한 사실은 그림 1-1에 도시한 Venn diagram을 통하여 명백히 알 수 있다. 따라서 식(1-28)에 대한 확률식은 다음과 같이 표현된다.

[eqn: p`(A) ~= ~P`(A,`S) ~=~ P` left{ union_k=1^n (A,`B_k ) right} ~= sum_k=1^n P`(A,`B_k )]	(1-29)

이제 식(1-15)를 이용하여 이를 다시 쓰면 정리의 결과식 (1-27)을 얻는다. <증명끝>

조건확률의 정의 식(1-16) 및 식(1-17)은 임의의 두 사건에 대하여 항상 적용할 수 있다. 사건 [eqn: B]를 위에서 논의된 전멸사건 [eqn: B_k]로 대치하면

[eqn: P`(B_k vert A`) ~=~ {P`(A,` B_k )} over p(A) , ~~~ p`(A) ~!=~ 0]	(1-30)

[eqn: P`(A vert B_k ) ~=~ {P`(A,`B_k )} over {p(B_k )} , ~~~ p(B_k ) ~!=~0]	(1-31)

와 같이 표현된다.

앞에서와 마찬가지로 이들 두 식을 서로 적용하면 Bayes 규칙은

[eqn: P`(B_k vert A`) ~=~ {p`(B_k` )`P`(A vert B_k `) } over { p`(A`)}]	(1-32)와 같이 쓸 수 있다. 여기에 다시 전체확률의 정리 식(1-27)을 적용하면 다음과 같은 유용한 식을 얻을 수 있다.

[eqn: P(B_k vert A) &=` {p(B_k )`P(A vert B_k )} over {p(B_1 )`P(A vert B_1 ) `+` p(B_2 )`P(A vert B_2 ) `+` cdots ` +` p(B_n )`P(A vert B_n ) } # # &=` {p(B_k )`P(A vert B_k )} over {sum_k=1^n p(B_k )`P(A vert B_k ) } , ~~~ k=1,`2,` cdots, `n]	(1-33)

이를 전체확률에 의한 Bayes 규칙이라 한다. 주지하는 바와 같이, 식(1-33)은 후향 조건확률을 선험적 확률과 전향 조건확률에 의하여 나타낼 수 있음을 보여준다. 이러한 사실은 뒤에서 정보채널을 취급할 때 매우 유용하다.

[예제 6] 완전한 동전 4 개와 양면이 모두 □Tail□인 동전 1 개가 주머니에 들어있다. 이들 중 1 개를 꺼내 n 번 던지는 시행을 하였다.  만일 n 번의 시행에서 모두 □Tail□이 나왔다는 가정 하에서

(1) 꺼낸 동전이 완전한 동전일 확률은 얼마인가 ?

(2) 꺼낸 동전이 양면 모두 □Tail□인 동전일 확률은 얼마인가 ?

[풀이] 첫 번째 시행은 동전을 꺼내는 것으로 하고, 두 번째 시행은 꺼낸 동전을 n 번 던지는 것으로 가정하면 이들은 종속시행이다. 첫 번째 시행에서 □양면이 모두 □Tail□인 동전을 꺼내는 사건□을 A, 두 번째 시행에서 □동전을 n 번 던져 모두 □Tail□이 나오는 사건□을 B 라 하자. 선험적 확률들은 명백히

[eqn: p`(A`) ~=~ 1 over 5 , ~~~p`( barA `) ~=~ 4 over 5]

로 주어진다. 전향 조건확률들도 다음과 같이 쉽게 얻어진다.

[eqn: P`(B vert A`) ~=~ 1 , ~~~P`(B vert bar A `) ~=~ 1 over 2^n]

이 식들과 식(1-27)을 이용하면, 사건 B에 대한 전체확률은

[eqn: p`(B) ~=~ P`(B vert A`)` p(A) ~+~ P`(B vert bar A `)`p(bar A` ) ~=~ 1 over 5 left( 1 + 1 over 2^n-2 right)]

와 같이 주어진다.

(1) 구하고자 하는 확률은 [eqn: P`(bar A vert B`)]이며, 이는 Bayes 규칙에 의하여 다음과 같이 계산된다.

[eqn: P`(bar A vert B`) &=~ {p`(bar A )`P`(B vert bar A` )} over {p`(B)} ~=~ {4 over 5 cdot 1 over 2^n} over {1 over 5 left(1 + 1 over 2^n-2 right) } # &=~ 1 over {1 `+` 2^n-2 }]

(2) 구하고자 하는 확률은 [eqn: P`(A vert B`)]이며, 이는 위 (1)에서 구한 확률의 역확률이다. 따라서 다음과 같이 계산된다.

[eqn: P`(A vert B`) ~=~ 1 ~-~ P`(bar A vert B`) ~=~ 1 over {1 `+` 2^-n+2 }]

comments   집합론에서 임의의 집합 [eqn: A]와 그 여집합 [eqn: bar A]와의 관계는 [eqn: A = S- barA]로 주어지며, 여기서 [eqn: S]는 전체집합을 나타낸다. 앞에서 설명한 바와 같이, 확률론에서는 표본공간을 전체집합에, 임의의 사건을 그 부분집합에 대응시킨다. 따라서 여사건(complementary event)의 확률은 역확률의 개념으로 [eqn: p(A)=1-p(bar A `)]와 같이 계산된다. 이 예제에서 구한 두 확률 [eqn: P(A vert B), ~P(barA vert B)]는 모두 사건 [eqn: B]를 표본공간으로 하는 조건확률이므로 서로 역확률이다. 다음 표는 몇가지 특징적인 사건과 그 여사건을 비교하여 정리한 것이다.

사 건	여 사 건
A or B A & B at least 1 'K' at least 1 'K' & at least 1 'Q' at least 1 'K' or at least 1 'Q'	not(A) & not(B) not(A) or not(B) no 'K' no 'K' or no 'Q' no 'K' & no 'Q'

1-6  이산적 랜덤변수

일반적으로 기대효과를 갖는 시행(trial or experiment)은 결과(outcome)를 생성하게 된다. 앞에서 임의의 시행에 대하여 발생 가능한 모든 결과를 원소로 하는 집합을 그 시행의 표본공간(sample space)이라 정의하였다. 따라서 각각의 결과는 표본공간의 원소이므로 이들을 표본점(sample point)이라 부르기도 한다.

예를 들어서 □주사위를 한 번 던지는 시행□은 여섯 개의 원소로 이루어지는 표본공간 {1, 2, 3, 4, 5, 6}을 소유하게 된다. 그러나 이것은 묵시적으로 □눈의 수□를 그 시행의 결과로 간주하였기 때문에 얻은 표본공간이다. 만일 이 시행의 결과를 □홀수 혹은 짝수□로 규정한다면 표본공간은 {Odd, Even}으로 설정될 것이다.

이와 같이 하나의 시행에 대해서도 그 결과를 어떤 것으로 규정하느냐에 따라 표본공간은 달라질 수 있다.

또 하나의 예로서 □세 개의 동전을 한 번 던지는 시행□을 생각하여 보자. 이 시행이 나타낼 수 있는 현상은 다음과 같은 8 가지 종류이다.

(1) HHH   (2) HHT   (3) HTH   (4) HTT

(5) THH   (6) THT   (7) TTH   (8) TTT

여기서 □H□는 동전의 앞면(head)을, □T□는 동전의 뒷면(tail)을 표시한다.

만일 이 시행의 결과를 □세 개의 동전이 나타내는 H 혹은 T□라고 규정한다면, 이 시행의 표본공간은 위에 표시한 8 개의 원소를 표본점으로 갖는 집합이 될 것이다. 그러나 같은 시행에 대해서도 결과 자체를 □나타난 앞면(Head)의 갯수□라고 규정한다면, 다음과 같은 4 개의 원소를 표본점으로 하는 표본공간이 설정될 것이다.

(1) 0 Head         (2) 1 Head

(3) 2 Heads         (4) 3 Heads

따라서 임의의 시행에 대한 표본공간은 유일하지 않으며, 무엇을 시행의 결과로 삼느냐에 따라 여러 가지로 설정될 수 있는 것이다.

위에 제시한 몇 가지 예에서 보는 바와 같이, 어떤 시행의 결과는 □H□나 □T□ 등과 같이 실수가 아닌 문자로 표현되는 경우가 많다. 이러한 경우 이를 수학적으로 취급하는 것은 매우 불편하다. 따라서 우리는 어떤 정해진 규칙을 이용하여 이들 결과에 각각 하나씩의 실수(real number)를 부여함으로써 취급의 편의를 도모하고자 한다. 이 때 사용되는 정해진 규칙을 랜덤변수(random variable)라 하며 다음과 같이 정의한다.

<정의 : 랜덤변수>

표본공간 내의 각 표본점에 대하여 하나씩의 실수를 부여하는 규칙, 즉 표본공간을 정의역(domain)으로 하고 실수집합 R을 공역(codomain)으로 하는 함수를 랜덤변수라 한다.

랜덤변수는 마치 하나의 변수인 것처럼 생각되지만 실제적으로는 하나의 실함수(real function)이다. 따라서 랜덤변수는 일반적인 변수와 구별되어야 함으로 보통 굵은 활자체(boldface)를 사용하여 X, Y, Z 등으로 표시한다. 그림 1-2는 이러한 랜덤변수의 함수관계를 도시한 것이다.

그림 1-2  랜덤변수의 개념

랜덤변수의 공역(codomain) 중 실제로 정의역의 원소에 대응하고 있는 부분을 랜덤변수의 치역(range)이라 한다.

예를 들어서 □동전을 한 번 던지는 시행□을 고려하여 보자. 시행의 표본공간은 {H,T}가 되며, 각 표본점에 대하여 실수 1, -1을 대응시키는 함수를 랜덤변수 X 라 하자. 이러한 경우 랜덤변수 X의 정의역은 [eqn: S`=`\{H,`T \}]이고, 공역은 실수집합 R이며, 치역은 {1, -1}이다.

랜덤변수의 치역이 이산적인 원소로 구성되어 있는 경우 이산적 랜덤변수(discrete random variable)라 하고, 연속적인 실수 범위로 주어지는 경우 연속적 랜덤변수(continuous random variable)라 한다. 또한, 랜덤변수의 치역은 이산적인 유한 개의 원소와 일정한 실수 범위의 합집합으로 나타나는 경우도 있는데, 이러한 랜덤변수를 혼합형 랜덤변수(mixed-type random variable)라 한다.

일반적으로 연속적 랜덤변수는 그 정의역(표본공간)도 반드시 연속적인 범위로 구성되어야 하는 반면, 이산적 랜덤변수의 정의역은 연속적인 실수 범위로 구성될 수도 있고 이산적인 원소로 구성될 수도 있다. 이는 보통의 실함수가 정의역으로부터 치역으로의 대응관계로서 1 : 1 혹은 n : 1 대응은 허락하고 있으나 1 : n 대응은 허락하지 않고 있기 때문이다. 우리는 이 절에서 이산적 랜덤변수를 다루고, 다음 절에서 연속형 및 혼합형 랜덤변수를 공부하기로 한다.

위에서 예로 들었던 □세 개의 동전을 한 번 던지는 시행□을 다시 취급하여 보자. 이 때, 시행의 결과를 □나타난 앞면(Head)의 갯수□라 규정한다면, 표본공간은

[eqn: S ~=~ \{ 0 ~Head, ~ 1~ Head, ~ 2 ~Heads, ~ 3 ~Heads \}]	(1-34)

와 같이 4 개의 원소를 갖는 집합이 될 것이다. 이들 4 개의 표본점에 대하여 차례로 실수 0, 1, 2, 3을 부여하는 함수를 랜덤변수 X 라 하자. 이를 대응관계로 표시하면

[eqn: & bold X (0 `Head) ~=~0 ## & bold X (1 `Head) ~=~1 ## & bold X (2 `Heads) ~=~2 ## & bold X (3 `Heads) ~=~3]	(1-35)

와 같이 나타난다. 여기서 적용된 대응규칙은 X(k Heads)=k 라는 매우 간단한 형태이다. 이러한 규칙은 랜덤변수를 어떤 함수로 정의하느냐에 따라 Y(k Heads)=k2, Z(k Heads)=sin k 등 다양하게 나타날 수 있다. 따라서 하나의 표본공간이 주어지면, 우리는 이 표본공간에 대하여 무수히 많은 랜덤변수를 정의할 수 있는 것이다. 그림 1-3은 식(1-34)에 주어진 표본공간에 대하여 방금 정의하였던 랜덤변수 X, Y, Z의 대응관계를 도시한 것이다.

그림 1-3 랜덤변수의 대응관계(예)

이제 랜덤변수의 각 함수값에 확률을 할당하여 보자. 이산적 랜덤변수의 치역(함수값)은 일반적으로 이산적인 실수값들로 구성되므로, 우리는 이들 실수값에 대하여 각각 확률을 부여할 수 있다. 이러한 과정을 체계적으로 취급하기 위하여 다음과 같이 확률함수(probability function)를 정의한다.

) 연속적 랜덤변수에서는 그 치역(함수값)이 연속적인 실수 범위로 주어짐으로 그 내부에 무수히 많은 실수값들을 포함한다고 볼 수 있다. 따라서 하나하나의 값에 대한 확률은 0 이며, 실질적으로 확률함수를 정의할 수 없다. 다음 절에서 상세히 취급하겠지만 연속적 랜덤변수는 확률함수 대신 확률밀도함수(pdf)를 사용하게 된다.

<정의 : 확률함수>

이산적 랜덤변수 X의 함수값이 xi가 될 확률은 xi에 대응하는 결과(outcome)가 발생할 확률로 정의하며, 이를 다음과 같이 표시한다.

[eqn: P_boldX `(x_i ) ~=~ \Pr` \{boldX (cdot) `=`x_i \}]	(1-36)

여기서 [eqn: \Pr` \{ `조건 \}]은 괄호 안의 조건이 성립할 확률을 나타낸다.

실수 xi가 랜덤변수 X의 치역에 들어있는 임의 원소라고 할 때, [eqn: P_boldX `(x_i )]를 랜덤변수 X의 확률함수라 한다.

확률함수는 이산적 랜덤변수의 확률관계를 취급할 때 매우 편리하게 사용된다.

어떤 시행에 의하여 n 개 표본점이 존재하고, 랜덤변수 X는 이들에 대하여 각각 실수 [eqn: x_1 ,`x_2 ,` cdots,`x_n]을 할당한다고 가정하면

[eqn: {sum_iＡ1 ^n}`P_boldX{ ( x_i `)}~Ａ~1]	(1-37)

와 같은 식을 얻을 수 있다. 이 식의 좌변은 전체사건(certain event)에 대한 확률을 표시하며, 식(1-12)에 의하여 그 값은 1이 된다.

□세 개의 완전한 동전을 한 번 던지는 시행□을 생각하여 보자. 이 시행의 결과를 □나타난 앞면(Head)의 갯수□로 규정한다면 표본공간은 식(1-34)와 같다. 랜덤변수 X 에 의하여 이들 4 개의 표본점에 차례로 실수 x0, x1, x2, x3를 대응시키기로 하면, 이 시행의 결과는 x0, x1, x2, x3를 함수값으로 하는 랜덤변수 X로 대치된다. 따라서 확률함수는

[eqn: P_boldX (x_0 )``Ａ`` 1 over 8 , ~~P_boldX (x_1 )``Ａ``3 over 8 ,~~P_boldX (x_2 )``Ａ`` 3 over 8 , ~~P_boldX (x_3 )``Ａ``1 over 8]	(1-38)

과 같이 계산된다. 따라서 전체사건의 확률은

[eqn: sum from iＡ0 to 3 `P_boldX {(x_i )} ~Ａ~ 1 over 8 ~+~ 3 over 8 ~+~ 3 over 8 ~+~ 1 over 8 ~=~ 1]	(1-39)

이 되어 식(1-37)을 확인할 수 있다. 그림 1-4에는 이 확률함수의 분포를 그래프로 나타내었다.

그림 1-3 확률함수의 그래프(예)

랜덤변수 X의 함수값은 x1, x2, …, xn 등 n 개의 실수로, 랜덤변수 Y의 함수값은 y1, y2, … ym 등 m 개의 실수로 주어진다고 가정하고, 이들의 결합 랜덤변수(joint random variable) XY에 대하여 생각하여 보자.

이 결합시행(joint trial)의 표본공간은 모두 mn 개의 표본점을 갖게 될 것이다. 또한 각 표본점은 두 시행에서 나타나는 결과에 각각 실수를 대응시켜 만든 순서쌍 (xi, yj)에 대응하게 된다. 이것은 랜덤변수 X가 함수값 xi를 취하고, 랜덤변수 Y가 함수값 yj를 취하는 결합사건에 해당한다.

따라서 결합 확률함수(joint probability function)도 다음과 같이 자연스럽게 정의할 수 있다.

[eqn: P_bold XY `(x_i ,` y_j `) ~==~ \Pr` \{ boldX `=` x_i , `boldY `=` y_j ` \}]	(1-40)

여기서 □XＡxi□ □YＡyj□ 등은 원래 □X(·)Ａxi□ □Y(·)Ａyj□ 등으로 표현하여야 한다. 그러나 확률함수에 여러 개의 랜덤변수가 관계되는 경우에는 이와 같은 단순한 표시방법을 많이 사용한다. 식(1-36)과 비교하여 보라.

간단한 예로 □두 개의 완전한 동전을 한 번 던지는 시행□을 생각하여 보자. 이 때, 하나의 동전으로부터 나타나는 결과를 랜덤변수 X로, 다른 하나의 동전으로부터 나타나는 결과를 랜덤변수 Y로 대응시킨다고 하면, 두 랜덤변수의 표본공간은 {H, T}가 되 며, 이에 따라 결합 랜덤변수 XY의 표본공간은 {(H, H),(H, T),(T,H),(T,T)}로 주어진다. 만일 두 랜덤변수가 표본점 H에 1을, 표본점 T에 -1을 부여한다고 가정하면, 결합 랜덤변수 XY는 각각의 표본점에 대하여 차례로 (1, 1), (1, -1), (-1, 1), (-1,-1) 등의 순서쌍을 할당하게 된다. 따라서 이에 대한 결합 확률함수는

[eqn: P_bold XY (1 , 1 ) `=` P_bold XY (1 , -1 ) `=`P_bold XY (-1 , 1 ) `=`P_bold XY (-1 , -1 ) `=` 1 over 4]	(1-41)

로 주어진다. 이 확률분포를 그림 1-5에 나타내었다. 주지하는 바와 같이, 결합 확률함수는 2-차원 평면에 나타낼 수 없으므로 3-차원 공간을 사용한 것이다.

그림 1-5 결합 확률함수의 그래프(예)

일반적으로 결합 확률함수에 의하여 전체사건을 표시하면

[eqn: sum from i sum from j P_bold XY ` ( x_i , `y_j `) ~Ａ~1]	(1-42)

과 같이 쓸 수 있다. 이는 직관적으로 명백하고, 식(1-41)에서도 확인할 수 있다.

결합 랜덤변수의 개념을 확장하여, k 개의 랜덤변수 X1, X2, …, Xk 가 결합되어 있는 경우를 생각하여 보자. 결합시행의 각 표본점은 (x1, x2, …, xk)와 같은 k-차 순서쌍(k-tuple)에 대응하며, 이것은 랜덤변수 X1이 함수값 x1을, X2가 함수값 x2를, [eqn: cdots], Xk가 함수값 xk를 각각 취하는 결합사건에 해당한다. 따라서 결합 확률함수는

[eqn: P_{bold{X-_1 X_2 cdots X_k}} `(x_1 , x_2, cdots, x_k ) ~==`` \Pr` \{ boldX_1 = x_1 , `boldX_2 = x_2 ,` cdots, boldX_k = x_k \}]	(1-43)

와 같이 정의된다. 또한 전체사건에 대한 표현은 다음과 같이 얻어진다.

[eqn: sum from x_1 sum from x_2 cdots sum from x_k ```P_{bold {X_1 X_2 ` cdots X_k }} ` ( x_1 , `x_2 ,` cdots ,` x_k `) ~Ａ~1]	(1-44)

다음으로 두 개의 랜덤변수에 의한 조건확률(conditional probability)을 취급하여 보자. 앞에서도 설명한 바와 같이, 조건확률은 그 조건이 되는 사건을 표본공간으로 하여 재평가한 확률값을 표시하므로 두 랜덤변수 중 어느 하나는 함수값이 정해진 상태로 주어지게 된다.

조건 확률함수(conditional probability function)를 다음과 같이 정의한다.

<정의 : 조건 확률함수>

랜덤변수 X의 치역은 {x1, x2, …, xn}, 랜덤변수 Y의 치역은 {y1, y2,…, ym}으로 각각 주어질 때, Y(·)Ａyj라는 조건 하에서 랜덤변수 X가 함수값 xi를 취할 확률은

[eqn: P_boldX `(x_i vert boldY =y_j `) ~==~ \Pr \{ boldX `=`x_i vert boldY =y_j \}]	(1-45)

와 같이 표시되며, 이를 X의 Y에 대한 조건 확률함수라 한다.

식(1-45)는 사건 Y(·)Ａyj를 표본공간으로 하는 랜덤변수 X의 조건확률로 정의되었으나, 두 랜덤변수의 역할을 교환하면 Y의 X에 대한 조건 확률함수도 다음과 같이 유도할 수 있다.

[eqn: P_boldY `(y_j vert boldX =x_i `) ~==~ \Pr \{ boldY `=`y_j vert boldX =x_i \}]	(1-46)

전술된 바와 같이, 조건 확률함수는 그 조건으로 주어진 사건(부분집합)을 표본공간으로 하여 재평가한 확률이므로, 식(1-45)에서 랜덤변수 X의 모든 함수값 x1, x2, …, xn에 대한 확률의 합은 전체사건(certain event)에 대한 확률이다. 그러므로

[eqn: sum from i P_boldX `(x_i vert bold Y `Ａ` y_j `) ~Ａ~ 1]	(1-47)

과 같이 쓸 수 있으며, 마찬가지로 식(1-46)에 대해서는

[eqn: sum from j P_boldY `(y_j vert bold X` Ａ` x_i `) ~Ａ ~1]	(1-48)

을 얻는다.

또한 조건확률과 결합확률과의 관계식(1-16), (1-17)을 이용하면

[eqn: P_boldX `(x_i vert bold Y`Ａ`y_j `) ~Ａ~ { P_bold XY `(x_i , `y_j `)} over { P_boldY `(y_j `)} ### P_boldY`(y_j vert bold X `Ａ`x_i `) ~Ａ~ { P_boldXY `(x_i ,`y_j `)} over {P_boldX `(x_i `)}]	(1-49)

와 같이 유도할 수 있다.

이제, 식(1-49)에 나타난 두 식을 서로 적용하면, 다음과 같은 유용한 식을 얻을 수 있다.

[eqn: P_boldX `(x_i vert bold Y `Ａ`y_j `) ~Ａ~ { P_boldY `(y_j vert bold X `Ａ` x_i `)``P_boldX `(x_i `)} over { P_boldY `(y_j `)} ### P_boldY `(y_j vert bold X `Ａ`x_i `) ~Ａ~ { P_boldX `(x_i vert bold Y `Ａ` y_j `)``P_boldY `(y_j `)} over { P_boldX `(x_i `)}]	(1-50)

이를 조건 확률함수에 대한 Bayes 규칙이라 한다.

1-7  연속적 랜덤변수

앞 절에서 취급하였던 랜덤변수는 그 시행의 표본공간이 이산적 요소(discrete element)들로 구성될 뿐 아니라 그것들이 대응하는 실수집합 내의 치역(range)도 이산적인 값들로 이루어진 이산적 랜덤변수(discrete random variable)이다.

그러나 시행의 표본공간이 언제나 이산적 요소로만 구성될 수 있는 것은 아니며, 시행의 정의에 따라 연속적인 실수 범위로 주어지는 경우도 많다.

예를 들어서 어떤 강의실의 실내온도를 측정한다고 가정하여 보자. □온도를 측정하는 행위□는 하나의 랜덤시행(random experiment)이며, 이 시행으로부터 나타나는 결과는 □측정된 온도□이다. 이 때 표본공간을 이산적인 유한집합으로 마련할 수 있을까?

실내온도는 주위의 조건에 따라 어떤 온도범위 (T1, T2) 내에서 무작위적으로 변화한다. 임의 시간에 측정된 온도는 이 범위 내에 들어있는 임의의 실수값이 될 것이다. 따라서 이 시행의 표본공간은 무수히 많은 표본점(결과)으로 구성되며, 이산적인 유한집합으로는 표현될 수 없다. 다시 말해서 이 시행의 표본공간은 연속적인 실수 범위로 주어지며, 랜덤변수는 이것을 정의역으로 하는 실함수이므로 그 치역(range)도 연속적인 범위로 주어진다. 요컨대 치역이 연속적인 실수 범위로 주어지는 랜덤변수를 연속적 랜덤변수(continuous random variable)라 한다.

여기서 한 가지 주의해야 할 사항은 표본공간이 연속적이라고 하여 반드시 연속적 랜덤변수가 되는 것은 아니라는 점이다. 하나의 랜덤변수가 이산적이냐 혹은 연속적이냐 하는 것은 그 치역을 가지고 판단해야 한다. 표본공간이 연속적 실수 범위로 구성된다고 하더라도 이를 분할하여 각 분할범위에 대하여 하나의 실수를 대응시킨다면(n : 1 대응), 그 치역은 이산적인 요소들로 구성될 것이므로 그것은 이산적 랜덤변수인 것이다. 덧붙여 랜덤변수의 치역이 이산적 요소와 연속적 실수 범위의 합집합으로 주어지는 경우, 혼합형 랜덤변수(mixed-type random variable)라고 한다.

보통, 이산적 랜덤변수에 있어서는 치역에 유한개의 원소가 존재함으로 이들 각각에 대하여 확률값을 부여할 수 있었다. 그러나 연속적 랜덤변수는 일정한 실수 범위를 그 치역으로 하며, 치역 내에는 무한히 많은 실수값이 존재하게 됨으로, 하나의 값에 대한 확률은 명백히 0 이다. 다시 말해서, 만일 X가 연속적 랜덤변수이고 그 임의의 함수값을 x라 하면

[eqn: \Pr` \{boldX `=` x \} ~=~ 0`, ~~~~for ~\any ~x]	(1-51)

이 된다. 그러므로 연속적 랜덤변수에 부여되는 확률이 0 이 아닌 값으로 평가되기 위해서는 랜덤변수의 함수값이 어떤 연속적 범위 (x1, x2)를 취하여야 한다.

연속적 랜덤변수에 관한 확률을 체계적으로 분석하기 위하여, 두 가지 특별한 함수를 정의하여 사용한다. 그 하나는 누적분포함수(CDF)이며, 다른 하나는 확률밀도함수(pdf)이다. 이 두 함수는 상호 밀접한 관계를 갖는 것으로서, 한 함수가 정의되면 다른 하나는 그것을 이용하여 정의할 수 있다. 여기에서는 누적분포함수를 먼저 정의하고, 이를 이용하여 확률밀도함수를 정의하는 순서로 진행하고자 한다.

<정의 : 누적분포함수(cumulative distribution function)>

랜덤변수 X가 어떤 실수값 x보다 작거나 같을 확률, 즉 X의 함수값이 실수 범위 (１∞, x] 내에 존재할 확률을

[eqn: F_boldX `(x`) ~==~ \Pr `\{ bold X ~□~ x \}]	(1-52)

와 같이 정의하고, 이를 랜덤변수 X에 대한 누적분포함수 혹은 간단히 분포함수라 한다.

일반적으로 누적분포함수는 연속적 랜덤변수 뿐 아니라 이산적 랜덤변수에 대해서도 적용할 수 있다. 연속적 랜덤변수 X의 분포함수는 x에 관한 연속함수(continuous function)로 나타나며, 이산적 랜덤변수의 분포함수는 계단형 함수(stepwise function)로 나타난다. 따라서 혼합형 랜덤변수의 분포함수는 연속함수 내에 유한개의 도약(jump)이 존재하는 형태로 주어진다.

그림 1-6은 이러한 분포함수의 전형적인 그래프를 랜덤변수의 특성에 따라 비교하여 도시한 것이다.

그림 1-6  누적분포함수의 전형적인 그래프

다음에 누적분포함수의 몇 가지 중요한 성질들을 정리해 두기로 한다. 이들은 대부분 누적분포함수의 정의 식(1-52)로부터 쉽게 유도된다.

[eqn: F_boldX `(-inf) ~=~ 0 ,~~~~~~~F_boldX `(inf) ~=~ 1]	(1-53)

□ 이유 : 정의에 의하여, 위의 첫 번째 등식은 랜덤변수 X가 (１∞, １∞) 사이에 존재할 확률이므로 당연히 0 이다. 또한 두 번째 등식은 랜덤변수 X가 (１∞, ∞) 내에 존재하게 될 확률, 즉 전체사건(certain event)에 대한 확률을 나타내므로 1 이다.

[eqn: F_boldX `(x)]는 [eqn: x]에 대한 비감소함수(nondecreasing function)이다. 즉

[eqn: \If~~ x_2 ~>~ x_1 , ~~F_boldX `(x_2 ) ~>=~ F_boldX `(x_1 )]	(1-54)

□ 이유 : 누적분포함수의 정의 식(1-52)에 의하여

[eqn: F_boldX `(x_2 ) ``-`` F_boldX `(x_1 ) ~Ａ~ \Pr `\{bold X ``□``x_2 \} ~-~ \Pr`\{ bold X``□``x_1 \}]

이 성립한다.  여기서 x2는 x1보다 큰 값이므로

[eqn: \Pr` \{ bold X ``□`` x_2 \} ~Ａ~ \Pr` \{ bold X ``□`` x_1 \} ~／~ \Pr` \{` x_1 ``＠`` bold X ``□`` x_2` \}]

와 같이 쓸 수 있다. 따라서

[eqn: F_boldX `(x_2 ) ``-`` F_boldX `(x_1 ) ~Ａ~ \Pr \{` x_1 ``＠ ``bold X ```□ `` x_2 \}]

을 얻는다. 이 식의 우변은 어떤 사건에 대한 확률이므로 식(1-11)에 의하여 0 보다 크거나 같은 값이다. 즉

[eqn: F_boldX `(x_2 ) ``-`` F_boldX `(x_1 ) ~>=~ 0]

이다. 그러므로 식(1-54)는 성립한다.

그림 1-7과 같이, [eqn: F_boldX `(x)]가 [eqn: x`=`x_0]에서 도약(jump)을 가지는 경우(혼합형), [eqn: x_0]에 관련된 확률들을 다음과 같이 얻을 수 있다.

[eqn: & \Pr \{boldX `=`x_0 \} ~=~ \Upper```F_boldX `(x_0 ) ~-~ \Lower ```F_boldX `(x_0 ) ## & \Pr \{boldX `<=`x_0 \} ~=~ \Upper```F_boldX `(x_0 ) ## & \Pr \{boldX `<`x_0 \} ~=~ \Lower ```F_boldX `(x_0 )]	(1-55)

그림 1-7   분포함수가 도약(jump)을 갖는 경우 (혼합형 랜덤변수)

그림 1-8과 같이, [eqn: F_boldX `(x)]가 도약을 갖지 않는 연속함수인 경우(연속형), 임의점 [eqn: x_0] 및 [eqn: a, ~b] 에 관련된 확률들을 다음과 같이 얻을 수 있다.

[eqn: & \Pr \{boldX `=`x_0 \} ~=~ 0 ## & \Pr \{boldX ``<=``x_0 \} ~=~ \Pr \{boldX `<`x_0 \} ~=~ F_boldX `(x_0 ) ## & \Pr \{boldX ``>=``x_0 \} ~=~ \Pr \{boldX `>`x_0 \} ~=~ 1~-~ F_boldX `(x_0 ) ## & \Pr \{a <= boldX <=b \} = \Pr \{a<boldX <=b \} = \Pr \{a<=boldX < b \} = \Pr \{a<boldX <b \}# & ~~~~~~~~~~~~```=~F_boldX `(b ) ~-~ F_boldX `(a )]

(1-56)

그림 1-8   분포함수가 도약(jump)을 갖지 않는 경우 (연속적 랜덤변수)

앞에서 언급한 바와 같이, 연속적 랜덤변수에 대해서는 누적분포함수의 정의 식(1-52)를 이용하여 다음과 같이 확률밀도함수(probability density function)를 정의할 수 있다.

<정의 : 확률밀도함수(probability density function)>

랜덤변수 X의 누적분포함수 [eqn: F_boldX `(x)]를 x에 대하여 한 번 미분한 함수, 즉

[eqn: p_boldX `(x`) ~==~ {d~F_boldX `(x`)} over {d``x}]	(1-57)

를 랜덤변수 X에 대한 확률밀도함수 혹은 간단히 밀도함수라 한다.

위의 정의식은 연속적 랜덤변수의 확률밀도함수와 누적분포함수의 상호관계를 명백히 규정하여 준다. 식(1-57)이 분포함수로부터 밀도함수를 얻어내는 과정이라고 한다면, 주어진 밀도함수로부터 분포함수를 얻기 위해서는

[eqn: F_boldX `(x) ~Ａ~ { int from -inf to x} p_boldX `(t ) ~d`t]	(1-58)

를 사용하면 될 것이다.

식(1-53)부터 식(1-56)까지 주어진 분포함수의 성질과 식(1-57)의 정의를 이용하면, 다음과 같이 밀도함수에 관련된 성질들을 쉽게 유도할 수 있다.

<확률밀도함수의 성질>

(1) [eqn: p_boldX `(x`) ~>=~ 0 ~, ~~~for ~all~~x]	(1-59)

(2) [eqn: p_boldX `(inf) ~=~p_boldX `(-inf) ~=~ 0]	(1-60)

(3) [eqn: \Pr `\{`a ``<=` boldX `<=` b`\} ~=~ int_a^b `p_boldX `(x) ~dx]	(1-61)

(4) [eqn: int_-inf^inf `p_boldX `(x) ~dx ~=~ 1]	(1-62)

(5) [eqn: \Pr `\{ boldX ``approx`` x`\} ~=~ \Pr `\{ `x ``<=`` boldX ``<=`` x`+` d`x`\} ~=~ p_boldX `(x)` d`x]	(1-63)

앞에서도 설명한 바와 같이, 확률밀도함수는 오로지 연속적 랜덤변수에 대해서만 정의할 수 있다. 다시 말해서 랜덤변수의 분포함수가 일정한 구간에서 연속이고 미분가능한 함수로 주어지는 경우에 한하여 식(1-57)의 정의를 사용할 수 있다는 것이다.

그러나 함수를 표현하는 데 있어서 델타함수(delta function or impulse function)를 도입한다면, 이산적 랜덤변수는 확률밀도가 유한개의 이산점(discrete point)에 임펄스의 형태로 집중되어 있는 연속적 랜덤변수로 간주할 수 있다.

) 델타함수 [eqn: delta` (x)]는 □일반화된 함수(generalized function)□의 일종으로서 실함수의 범주를 벗어난다. 따라서 보통의 실함수와는 달리 다음과 같이 적분을 이용하여 간접적으로 정의된다.

[eqn: phi`(x_0 ) ~=~ int_-inf^inf phi`(x) ``delta`(x`-`x_0 ) ``dx]

여기서 [eqn: phi`(x)]는 [eqn: x`=`x_0]에서 연속인 임의의 실함수를 나타낸다. 이는 계단형으로 주어지는 분포함수의 해석에 자주 사용되며, 무한히 작은 폭(duration)과 무한히 큰 진폭(amplitude) 및 면적(area) 1을 가진 함수로 해석된다.

어떤 이산적 랜덤변수 X가 취할 수 있는 함수값이 x1, x2, …, xn이고, 이들에 대한 확률값이 각각 p1, p2, …, pn으로 주어진다고 할 때,  다음과 같은 델타함수의 합으로 유사 확률밀도함수(pseudo pdf)를 표현할 수 있다.

[eqn: p_boldX `(x`) & Ａ``p_1 `delta` (x`-`x_1 ) ~／~ p_2 `delta`(x`-`x_2 ) ~／~… ~／~ p_n `delta `(x`-`x_n ) # # & Ａ`` sum from rＡ1 to n p_r ``delta `(x``-``x_r )]	(1-64)

이를 확인해 보기 위하여, 식(1-64)의 양변을 전구간에 대하여 적분하면

[eqn: int from -inf to inf `p_boldX `(x`) ``d`x ~Ａ~ sum_r=1^n `p_r ~=~ 1]	(1-65)

이 됨을 알 수 있다.

이러한 표현방법은 혼합형 랜덤변수에 대해서도 적용할 수 있으며, 이렇게 하면 모든 랜덤변수에 대하여 (유사) 확률밀도함수를 정의할 수 있게 된다.

다음에 제시하는 예제들을 풀어보고, 그 결과를 서로 비교함으로써 이들의 개념을 좀 더 확실히 파악해 보기로 하자.

[예제 7] (a Gaussian distribution)

확률밀도함수가 다음과 같은 형태로 주어질 때

[eqn: p_boldX `(x) `=` 1 over {sigma` sqrt{2pi} } ~e^{-`x^2 /2` sigma^2 }]

(1) 이것이 식(1-62)를 만족함을 보여라.

(2) 누적분포함수 [eqn: F_boldX `(x)]를 구하라.

(3) 확률밀도함수와 누적분포함수를 스케치하라.

[풀이]

(1) 주어진 확률밀도함수를 식(1-62)에 적용하면

[eqn: int_-inf^inf p_boldX (x)` `dx ``=`` 1 over {sigma` sqrt {2 pi}} int_-inf^inf `e^{-`x^2 /2sigma^2 } ``dx ``=` 2 over {sigma` sqrt {2pi}} int_0^inf e^{-`x^2 / 2 sigma^2 } `dx]

와 같이 주어지고, 변수를 치환하여

[eqn: x over {sqrt 2 sigma} `=` t]

라 두면, 위 식의 우변은 무한적분표(부록 Ⅰ)를 이용하여 다음과 같이 계산된다.

[eqn: 2 over {sigma` sqrt 2pi } sqrt 2 sigma int_0^inf e^{-t^2} `dt ~=`` 2 over {sqrt pi} int_0^inf e^{-t^2} `dt ~=~ 1]

따라서 식(1-62)는 성립한다.

(2) 누적분포함수를 구하기 위해서는 식(1-58)을 이용하여

[eqn: F_boldX `(x) ~=`` int_-inf^x `p_boldX `(t) ``dt ~=`` 1 over {sigma` sqrt 2pi} int_-inf^x e^{-`t^2 / 2sigma^2 } ``dt]

와 같이 쓸 수 있고, 위에서와 같이 변수를 치환하여 다음과 같이 계산된다.

[eqn: F_boldX `(x) &=~ 1 over sqrt pi int_-inf^{x over {sqrt 2 sigma}} e^{-alpha^2 } ``d` alpha # &=~ 1 over sqrt pi int_-inf^0 e^{-alpha^2 } ``d` alpha ~+`` 1 over sqrt pi int_0^{x over {sqrt 2 sigma}} e^{-alpha^2 } ``d` alpha]

우변의 첫 번째 적분은 무한적분표(부록 Ⅰ)에 의하여 1/2 이고, 두 번째 적분은 그 상한에 따라 변화하는 함수로서

[eqn: F_boldX` (x) ~=~ 1 over 2 ``+`` 1 over 2 \erf `left(x over {sqrt 2 sigma} right)]

와 같이 표현될 수 있다. 여기서 오차함수[eqn: \erf (cdot)]는 다음과 같이 정의되며, (부록 Ⅱ)에 제시된 오차함수표에 의하여 그 값을 결정할 수 있다.

[eqn: \erf (x) ~==~ 2 over {sqrt pi} int_0^x e^{-t^2 }`` dt]

(3) 확률밀도함수 [eqn: p_boldX` (x)]는 우함수(even function)이고 [eqn: x`=`0] 에서 최대값을 가지며, [eqn: x]의 절대값이 커짐에 따라 점차로 작아지는 함수이다.

또한 누적분포함수는 식(1-53), (1-54), (1-58)을 만족하면서 부드럽게 단조증가하는 함수이다. 이들을 그리면 다음 그림과 같다.

*그림 들어갈 자리입니다.*

[예제 8] (a discrete random variable)

어떤 이산적 랜덤변수가 취할 수 있는 함수값은 {-7, 1, □, 5}이고, 이들 각각에 대한 확률함수는 다음과 같이 주어진다.

[eqn: & P_boldX `(-7) `=` 0.4, ~~~~& P_boldX `(1) `=` 0.1 # & P_boldX `(pi) `=` 0.3, & P_boldX `(5) `=` 0.2]

(1) 유사 확률밀도함수 [eqn: p_boldX `(x)]를 구하라.

(2) 누적분포함수 [eqn: F_boldX `(x)]를 구하라.

(3) 유사 확률밀도함수와 누적분포함수를 스케치하라.

[풀이]

(1) 식(1-64)에 의하여

[eqn: p_boldX `(x`) & Ａ~ 0.4 `delta` (x`+`7` ) ~／~ 0.1 `delta`(x`-`1 )# &~ ~／~ 0.3 `delta `(x`-`pi` ) ~+~ 0.2 `delta `(x`-`5 )]

와 같이 주어진다.

(2) 식(1-58)을 이용하면

[eqn: F_boldX `(x) &=~ { int from -inf to x} p_boldX `(t ) ~d`t # &=~ 0.4` u(x`+`7) `+`0.1` u(x`-`1) # &~~~+~0.3` u(x`-`pi) ~+~0.2` u(x`-`5)]

와 같이 계산되며, 여기서 [eqn: u`(cdot)]는 단위계단함수(unit step function)를 나타낸다.

(3) 위 (1), (2)의 결과를 좌표축에 그리면 다음과 같다.

* 그림이 들어갈 자리입니다. *

[예제 9] (a mixed-type random variable)

완전한 주사위를 한 번 던져서, 만일 □6□이 나오면 10$를 받고 □6□ 이외의 눈이 나오면 구간 [5, 8]에서 임의의 실수를 택하여 그만큼 $를 받는 게임을 한다. 이 때, 게임을 하는 사람이 받을 돈을 랜덤변수 X라 하면

(1) 시행의 표본공간 S와 랜덤변수 X의 치역 R을 구하라.

(2) 유사 확률밀도함수 [eqn: p_boldX `(x)]를 구하라.

(3) 누적분포함수 [eqn: F_boldX `(x)]를 구하라.

(4) 유사 확률밀도함수와 누적분포함수를 스케치하라.

[풀이]

(1) 시행은 완전한 주사위를 한 번 던지는 것이며, 그 결과는 □나타난 눈의 수□로 하고 있으므로, 시행의 표본공간은

[eqn: S ~Ａ~ \{1,` 2,` 3,` 4,` 5,` 6 \}]

이며, 랜덤변수 X에 의하여 10 혹은 범위 [5, 8]에 대응되고 있으므로 치역은

[eqn: R ~Ａ~ \{`x vert x`=`10 ~\or~ x `in` [5,``8],~ x ~\is ~\a ~ \real ~ \number \}]

로 표현된다.

(2) 실수 범위 [5, 8]에서는 확률값 5/6 가 균일하게 분포하며, 실수값 10에 확률 1/6 이 집중되어 있는 형태이므로 랜덤변수 X는 혼합형이고, 그 유사 확률밀도함수는

[eqn: & p_boldX `(x`) ~ Ａ~ 1 over 6 `delta` (x`-`10` ) ``／`` g(x) # &~~~~여기서~ g(x)``=``5 over 18 , ~for~ 5``<=``x``<=``8]

로 주어진다.

(3) 식(1-58)을 이용하면, 누적분포함수는

[eqn: F_boldX `(x) &=`` { int from -inf to x} p_boldX `(t ) ```d`t ## &=~ cases { ````0` ,~~~ & x ``＠`` 5 ## `5 over 18 `(x `-` 5) `, & 5``<=``x ``＠`` 8 ## `5 over 6`, & 8 ``<=`` x ``＠`` 10 ## ``` 1`, & x ``>=`` 10 }]

와 같이 계산된다.

(4) 위 (2), (3)의 결과를 좌표축에 그리면 다음과 같다.

* 그림이 들어갈 자리입니다. *

1-8  결합분포

지금까지의 논의를 좀 더 확장시켜 두 개의 랜덤변수가 결합되어 있는 분포를 생각하여 보자.

예를 들어서, □x-y 직각좌표로 구성되어 있는 표적을 향하여 총을 쏘는 시행□을 생각하고, 시행의 결과는 □탄착점□으로 하며, 랜덤변수 X는 탄착점의 x-좌표에, 랜덤변수 Y는 탄착점의 y-좌표에 각각 대응한다고 가정하여 보자. 직관적으로, 이 시행의 표본공간은 결합된 두 개의 연속적 랜덤변수 X,Y에 의하여 순서쌍 (x, y)로 표현되는 표본점을 갖게된다.

이와 같이 두 개(혹은 여러 개)의 랜덤변수가 결합되어 있는 확률분포를 결합분포(joint distribution)라 하며, 이 절에서는 결합분포와 관련된 제반 개념을 취급하고자 한다. 여기에 등장하는 여러 가지 정의 및 정리는 앞에서 취급하였던 개념들을 자연스럽게 확장함으로써 얻을 수 있는 것들이므로 특별한 경우를 제외하고는 엄밀한 수학적 증명은 생략하기로 한다.

) 이 절에서 취급하는 정리들에 대한 엄밀한 증명은 다음 참고서적에서 찾아볼 수 있다.

P. Z. Peebles, Jr., Probability, Random Variables, and Random Signal Principles, 4th ed., 2001, McGraw-Hill.

두 랜덤변수 X,Y에 관한 결합 누적분포함수(joint CDF)를 다음과 같이 정의한다.

[eqn: F_boldXY `( x, `y`) ~==~ \Pr `\{ bold X `` □ ``x, ~ bold Y``□``y `\}]	(1-66)

이로부터 결합 확률밀도함수(joint pdf)는

[eqn: p_boldXY `(x,`y`) ~==~ partial^2 over { partial`x ``partial `y} F_boldXY `(x, `y`)]	(1-67)

와 같이 정의된다.

식(1-67)에서 사용한 편미분(partial derivative)의 정의에 의하여 극한식으로 표시하고 식(1-66)을 이용하여 정리하면, 두 랜덤변수의 함수값이 일정한 구간 내에 존재할 확률을 구할 수 있다. 즉, 랜덤변수 X가 미소구간 (x, x／dx) 내에 존재하고, 랜덤변수 Y가 미소구간 (y, y／dy) 내에 존재할 확률은 다음과 같이 표시된다.

[eqn: \Pr` \{ boldX `approx` x , boldY `approx` y `\} &=~ \Pr `\{`x_1 `<` boldX `□` x+dx , ~y_1 `＠`boldY `□` y+dy`\} ## &=~ p_boldXY `(x,``y) ``d`x``d`y]	(1-68)

이는 식(1-63)의 확장된 형태라고 보아도 무방하다.

이제, 랜덤변수 X가 임의 구간 (x1, x2) 내에 존재하고, 랜덤변수 Y가 임의 구간 (y1, y2) 내에 존재할 확률은 식(1-68)로부터

[eqn: & \Pr` \{x_1 `＠ boldX ``□` x-_2 , ``y_1 `＠ bold Y ``□` y-_2` \} ## &~~=~ int from x_1 to x_2 int from y_1 to y_2 ``p_boldXY `(x,`y) ``d`x``d`y]	(1-69)

와 같이 쉽게 유도되며, 이는 식(1-61)의 확장된 형태이다.

그림 1-9는 3-차원 공간에 결합 밀도함수[eqn: p_boldXY `(x,`y`)]를 도시한 것이며, 식(1-69)에 표시된 결합확률은 결국 [eqn: p_boldXY `(x,`y`)]의 그래프 밑에서 구간 (x1, x2), (y1, y2)에 의하여 한정되는 체적과 같다.

랜덤변수 X가 구간 (１∞, ∞) 내에 존재하고, 랜덤변수 Y가 구간 (１∞, ∞) 내에 존재하는 사건은 전체사건을 나타낸다. 따라서 식(1-69)로부터

[eqn: int _-inf^inf int from -inf to inf `p_boldXY` (x,`y`) ``d`x``d`y ~Ａ~ 1]	(1-70)을 얻는다. 이는 [eqn: p_boldXY `(x,`y`)] 그래프 밑의 총 체적을 말한다.

두 랜덤변수 X,Y의 결합 확률밀도함수가 [eqn: p_boldXY `(x,`y`)]로 주어질 때, 각 랜덤변수에 대한 확률밀도함수 [eqn: p_boldX `(x)], [eqn: p_boldY `(y)]를 한계밀도(marginal densities)라 부른다. 한계밀도는 결합 밀도함수로부터 적분에 의하여 다음과 같이 구할 수 있다.

그림 1-8  결합 밀도함수의 개념

<정리 : 한계밀도>

[eqn: p_boldX `(x) ~Ａ~ int from -inf to inf p_boldXY `(x, `y)~d`y]	(1-71)

[eqn: p_boldY `(y) ~Ａ~ int from -inf to inf p_boldXY `(x,`y)~d`x]	(1-72)

□ 증명 :  식(1-63)에 의하여 랜덤변수 X가 미소구간 (x, x／□x) 내에 존재하게 될 확률은 [eqn: p_boldX `(x)]□x 가 되며, 이 때 랜덤변수 Y는 구간 (１∞, ∞) 에 놓이게 된다. 따라서 식(1-69)를 이용하면

[eqn: lim from Deltax->0` p_boldX `(x) Deltax &Ａ~ \Pr` \{ x〈 `boldX `□`x／ Deltax,``- inf ``＠`` boldY ``□``inf`\} # &Ａ~ lim from Deltax->0 int from x to x／Deltax int from -inf to inf `p_boldXY `(x,`y)``d`y``d`x # &Ａ~ lim from Deltax->0 int from x to x／Deltax `left{ int from -inf to inf `p_boldXY `(x,`y)``d`y`` right}``d`x]	(1-73)

와 같은 관계를 얻을 수 있다. □x가 무한히 작아질 때, 이 식의 우변은 각 변수에 대한 적분으로 분리할 수 있다. 즉

[eqn: lim from Deltax->0 p_boldX `(x`)`Deltax &Ａ~ int from -inf to inf `p_boldXY `(x,`y)``d`y` cdot lim from Deltax->0 int from x to x／Deltax d`x # &Ａ~ lim from Deltax->0 ``Deltax cdot int from -inf to inf `p_boldXY `(x,`y)``d`y]	(1-74)

따라서 구하는 한계밀도는

[eqn: p_boldX `(x) ~Ａ~ int from -inf to inf `p_boldXY `(x, `y) ``d`y]	(1-75)

와 같이 주어진다. [eqn: p_boldX `(x)]와 [eqn: p_boldY `(y)]의 역할을 바꾸어 마찬가지 방법으로 진행하면

[eqn: p_boldY `(y) ~Ａ~ int from -inf to inf `p_boldXY `(x,`y)``d`x]	(1-76)

도 얻을 수 있다.	■

두 랜덤변수에 대한 결합분포의 개념은 n 개의 랜덤변수 X1,X2, …,Xn에 대하여 자연스럽게 확장할 수 있다.

전체사건(certain event)에 대한 표현은

[eqn: int int…int from -inf to inf p_{bold{X_1 X_2 … X_n } } `(x_1 ,`x_2 ,`…,`x_n `) ``d`x_1 `d`x_2 `…`d`x_n ~Ａ~ 1]	(1-77)

과 같이 주어지며, 한계밀도(marginal density)에 대해서는 하나의 예로서

[eqn: p_{bold{X_1 X_2 `…`X_n-1 } } `(x_1 , `x_2 ,`…,`x_n-1 `) ~Ａ~ int from -inf to inf `p_{bold{X_1 X_2`…`X_n }} `(x_1 , `x_2 ,`…,` x_n `)`` d`x_n]	(1-78)

을 제시할 수 있다.

또한 랜덤변수 X1,X2, …,Xn이 각각 구간 (□1, □1), (□2, □2), …, (□n, □n) 내에 존재하게 될 확률은 다음과 같이 표현된다.

[eqn: int from alpha_1 to beta_1 int from alpha_2 to beta_2 … int from alpha_n to beta_n `p_{bold{X_1 X_2`…`X_n }} `(x_1 ,`x_2 ,`…,`x_n `)~d`x_1 ``d`x_2``…``d`x--_n]	(1-79)

[예제 10] (a jointly Gaussian random variable)

두 랜덤변수 X,Y에 대한 결합 확률밀도함수가

[eqn: p_boldXY` (x,`y) &=`` 1 over {2pi sqrt M }`` \exp `left(- {K_22` x^2 `+` K_11` y^2 `-` 2`K_12` x`y} over {2`M} right)`, ## & ~~ M ``=` K_11 `K_22 ``- {K_12}^2]

와 같이 주어질 때, 한계밀도 [eqn: p_boldX `(x) , ~ p_boldY` (y)]를 구하라.

[풀이] 식(1-71)을 이용하여

[eqn: p_boldX `(x) &=`` int_-inf^inf` p_boldXY` (x,`y) ``d`y # &=`` 1 over {2pi sqrt M} ``e^{-K_22` x^2 `/`2M}` int_-inf^inf \exp ``left(- K_11 over 2M` y^2 ``+`` K_12 over M `xy right) ~d`y]

와 같이 표시된다. 적분표(부록 Ⅰ)로부터

[eqn: int_-inf^inf \exp `(-py^2 + qy`) ``d`y ~=~ sqrt {pi over p} `\exp `left( q^2 over 4p right)]

를 얻을 수 있으며, 이 식에

[eqn: p ~=~ K_11 over 2M , ~~~ q ~=~ K_12 over M `x]

를 적용하면, 구하는 한계밀도는 다음과 같이 나타난다.

[eqn: p_boldX` (x) ~=`` 1 over {sqrt {2pi `K_11 }} `\exp` left(- x^2 over {2`K_11} right)]

마찬가지 방법으로 식(1-72)를 이용하면

[eqn: p_boldY` (y) ~=`` 1 over {sqrt {2pi` K_22 }} `\exp `left(- y^2 over {2`K_22} right)]

와 같이 구할 수 있다.

제1-6절에서 이산적 랜덤변수에 적용되었던 조건확률의 개념은 연속적 랜덤변수에 대해서도 무리 없이 적용될 수 있다.

먼저, 조건 누적분포함수(conditional CDF)는 다음과 같이 정의된다.

[eqn: F_boldX `(x vert boldY`Ａ`y`) ~==~ \Pr` \{ boldX ``□`` x vert boldY`Ａ`y` \}]	(1-80)

이는 랜덤변수 Y가 함수값 y를 취한다는 조건 하에서 랜덤변수 X의 함수값이 x 보다 작거나 같을 확률을 표시한다.

조건 확률밀도함수(conditional pdf)는 식(1-80)의 조건 분포함수를 x에 관하여 한 번 미분함으로써 얻어진다.

[eqn: p_boldX `(x vert bold Y `Ａ`y) ~==~ {d`` F_boldX `(x vert bold Y `Ａ` y)}over {d`x}]	(1-81)

이는 랜덤변수 Y가 함수값 y를 취한다는 조건 하에서 랜덤변수 X의 확률밀도함수를 표시하는 것이다. 다시 말해서 사건 Y=y 를 표본공간으로 하여 랜덤변수 X의 확률밀도함수를 재평가한 것이다. 따라서 미소구간 (x, x／□x)에 대한 확률은

[eqn: p_bold X` (x vert bold Y `=` y` ) `Delta`x ~=~ \Pr `\{x `<` boldX `<=`x`+` Delta `x vert bold Y `=` y `\}]	(1-82)

와 같이 표현된다.

연속적 랜덤변수에 있어서, 결합 확률밀도함수(joint pdf)와 조건 확률밀도함수(conditional pdf)의 관계는 다음과 같이 표현된다.

[eqn: p_boldX (x vert boldY`Ａ`y)``Ａ`` {p_boldXY (x, `y)} over { p_boldY (y)}]   [eqn: p_boldY (y vert boldX`Ａ`x )``Ａ ``{p_boldXY (x, `y)} over { p_boldX (x)}]     (1-83)

□ 증명 :  조건확률의 정의식(1-16)에 의하여

[eqn: & \Pr` \{ boldX`` □ `x vert y``＠ boldY ``□ `y`／□y` \} ## &~~Ａ ~{ \Pr` \{ bold X``□``x, ````y``＠`boldY``□``y`／□y` \} } over { \Pr` \{ `y``＠`bold Y ``□``y`+□y` \} }## &~~Ａ~ { int from -inf to x int from y to y／Deltay `p_boldXY `(x,`y)``d`y``d`x} over { int from y to y／Deltay `p_boldY `(y`) `` d`y }]	(1-84)

와 같이 표시할 수 있으며, 이 식의 양변에 □y→0인 극한을 취하면

[eqn: lim from □y->0 `\Pr` \{ bold X ``□``x vert y ``＠``boldY ``□`` y`／□y` \} ``Ａ`` { Deltay int from -inf to x p_boldXY `(x, `y)`` d`x} over { Deltay`` p_boldY `(y)}]	(1-85)

를 얻는다. 이 때, 좌변은 □y→0의 극한에서 Pr{X □x | Y Ａy}로 표시되며, 이는 식(1-80)으로 정의된 조건 누적분포함수이다. 또한 우변은 □y로 약분되어

[eqn: F_boldX `(x vert bold Y `Ａ`y`) ~Ａ~ { int from -inf to x `p_boldXY `(x,` y`) ``d`x } over {p_boldY `(y) }]	(1-86)

와 같이 나타낼 수 있다.  식(1-86)의 양변을 x에 관하여 미분하면

[eqn: p_boldX `(x vert boldY `Ａ`y `) ~Ａ~ { p_boldXY `(x, `y`) } over { p_boldY `(y) }]	(1-87)

가 유도된다. 식(1-83)의 두 번째 식은 두 랜덤변수 X, Y의 역할을 서로 교환하여 위와 동일한 과정을 진행함으로써 얻을 수 있다.	■

앞에서 입증된 식(1-83)의 두 식을 서로 대입하면, 다음과 같이 매우 유용한 관계식을 유도할 수 있으며, 이를 연속적 랜덤변수에 대한 Bayes 규칙이라 한다.

[eqn: p_boldX `(x vert boldY `Ａ`y`) ~Ａ~ { p_boldY `(y vert boldX `Ａ` x`)`` p_boldX `(x)} over {p_boldY `(y)} ## p_boldY `(y vert boldX`Ａ`x`) ~Ａ~ { p_boldX `(x vert boldY`Ａ`y` )`` p_boldY `(y)} over { p_boldX `(x)}]	(1-88)

두 개의 연속적 랜덤변수 X,Y에 대하여

[eqn: p_boldX `(x vert boldY `Ａ` y`) ~Ａ~ p_boldX `(x) ## p_boldY `(y vert boldX `Ａ` x`) ~Ａ~ p_boldY `(y)]	(1-89)

가 성립할 때, 두 랜덤변수는 통계적으로 독립(statistically independent)이라고 한다.

또한 두 랜덤변수 X,Y가 서로 독립이면 식(1-83)에 의하여

[eqn: p_boldXY `(x,`y`) ~Ａ~ p_boldX `(x)`` p_boldY `(y)]	(1-90)

가 성립한다.

일반화하여, n 개의 랜덤변수 X1, X2, …, Xn이 서로 독립이면

[eqn: p_bold{X_1` X_2` …` X_n}} `(x_1 , `x_2 ,` …,` x-_n `) ~Ａ~ p_boldX_1 (x_1 `) ``p_boldX_2 (x_2 `)`` …``p_boldX_n (x_n `)]	(1-91)

이 성립하게 된다. 그러나 앞에서도 언급한 바와 같이, 식(1-91)이 성립한다고 하여 랜덤변수 X1, X2, …, Xn이 서로 독립이라고 말할 수는 없다. 요컨대 식(1-91)은 랜덤변수 X1, X2, …, Xn이 서로 독립이기 위한 □필요조건□이되, □충분조건□은 아니다.

[예제 11] (a jointly Gaussian random variable)

위의 [예제 10]에 주어진 결합 확률밀도함수에 대하여

(1) 조건 확률밀도함수 [eqn: p_boldX `(x vert boldY` =` y`) , ~ p_boldY `(y vert boldX `=`x`)]를 구하라.

(2) 두 랜덤변수[eqn: boldX , `` boldY]는 통계적으로 독립인가 혹은 종속인가 ?

[풀이]

(1) 식(1-88)과 [예제 10]에서 구한 한계밀도를 이용하여 다음과 같이 계산된다.

[eqn: p_boldX `(x vert boldY `=` y) &=~ { p_boldXY` (x,`y) } over {p_boldY`(y) } # &=~ sqrt {K_22 over {2pi M }} ` \exp left{- {K_22 `left(x `-` K_12 over K_22 `y right)^2 } over 2M right}]

[eqn: p_boldY` (y vert boldX`=` x) &=~ {p_boldXY` (x,`y) } over {p_boldX `(x) } # &=~ sqrt {K_11 over {2pi M }} ``\exp left{- {K_11 `left(y `-` K_12 over K_11 x right)^2 } over 2M right}]

(2) [예제 10]에서 구한 한계밀도와 위 (1)에서 구한 조건 밀도함수를 비교하여 보면

[eqn: p_boldX `(x vert boldY `=` y) ~ != ~ p_boldX `(x) , ~~~ p_boldY (y vert boldX `=` x) ~ != ~ p_boldY (y)]

이므로 두 랜덤변수[eqn: boldX , ` boldY]는 통계적으로 종속이다.

1-9  통계적 평균

평균(average)의 개념은 여러가지 확률과정에 있어서 대단히 중요한 위치를 차지하고 있다. 앞에서 언급한 바와 같이, 일반적으로 랜덤변수는 통계적인 규칙성에 의하여 특징지워 진다. 이러한 통계적 규칙성의 의미는, 랜덤변수의 특성을 어떤 확정된 관계식에 의하여 규정할 수 있는 것이 아니라, 평균의 개념을 근거로 하여 예측할 수 있음을 뜻한다.

예를 들어 □완전한 동전을 한 번 던지는 시행□에 있어서, 어떤 특정한 시행으로부터 나타나는 결과를 정확히 예측하는 것은 불가능하다. 그러나 무수히 많은 시행에 대하여 평균적으로 앞면(Head)과 뒷면(Tail)이 각각 반씩 나타날 것이라고 예측할 수 있는 것이다. 확률에 대한 경험적 정의인 식(1-1)도 그 자체가 평균의 개념을 근거로 하여 표현된 것이다.

이 절에서는 랜덤변수에 대한 통계적 평균(statistical average or mean)을 정의하고 이로부터 파생되는 여러가지 평균의 개념을 살펴보기로 한다.

먼저, 통계적 평균의 개념을 이해하기 위하여 간단한 예를 들어 보자.

주인에게 1,000원을 내고, 완전한 주사위를 한 번 던져, 나오는 눈의 수에 따라 아래와 같은 복금을 받는 게임을 한다고 가정하여 보자.

눈의 수	복금
1 2 3 4 5 혹은 6	｀ 3,000 ｀ 1,500 ｀ 500 ｀ 200 복금 없음

이 게임을 여러번 반복한다고 할 때, 과연 누가 손해일까 ?

이러한 질문에 대한 해답을 제공할 수 있는 개념이 바로 랜덤변수의 통계적 평균 혹은 기대값(expected value)이다.

한 번의 게임에서 받을 수 있는 복금액을 랜덤변수 X라고 가정하면, 기대할 수 있는 복금액은 랜덤변수 X의 기대값이 된다. 다시 말해서

[eqn: 평균 ~복금액 &=`` bar boldX ~ =~ 3,000cdot 1 over 6 `+` 1,500 cdot 1 over 6 `+` 500 cdot 1 over 6 `+` 200 cdot 1 over 6 # & approx~ 867~ (원)]

와 같이 계산할 수 있다. 따라서 주인은 한 번의 게임에 대하여 평균적으로 약 133 (원)의 이득을 얻고 있는 셈이다.

이제, n 개의 함수값 x1, x2, …, xn을 취할 수 있는 이산적 랜덤변수 X를 고려하여 보자. 이 시행을 N 번(N→∞) 수행하여 각 함수값이 m1, m2, …, mn번 출현하였다면, 랜덤변수 X의 기대값은 다음과 같이 주어진다.

[eqn: bar bold X & Ａ~ 1 over N `( m_1 `x_1 ``／ ``m_2 `x_2 ``／ ``…``／`` m_n `x_n )## & Ａ~ m_1 over N `x_1 ``／`` m_2 over N `x_2 ``／``…``／`` m_n over N `x_n]	(1-92)

상대 빈도수에 의한 확률의 정의 식(1-1)에 의하여, 확률함수는

[eqn: P_boldX `(x_i ) ~=`` lim_{N`->`inf} `m_i over N ,~ for ~i `=` 1,`2,` cdots,`n]	(1-93)

와 같이 주어지므로, 식(1-92)는

[eqn: bar boldX ~Ａ~ E(bold X ) ~=~ sum from iＡ1 to n ``x_i ```P_boldX `(x_i )]	(1-94)

와 같이 표시된다. 우리는 이 식을 이산적 랜덤변수의 평균값 혹은 기대값이라 정의한다. 여기에서 사용된 두 가지 표시방법 [eqn: bar boldX `와 ~ E(bold X )]은 모두 랜덤변수 의 기대값을 나타내기 위한 것이며, 앞으로 아무런 구분 없이 자주 사용하게 될 것이다.

. [eqn: bar boldX]는 "bar x"로, [eqn: E(boldX )]는 "expected value of x"로 읽는다.

연속적 랜덤변수의 기대값은 식(1-94)에서 합을 적분으로, 확률함수를 확률밀도함수로 각각 대치하여 다음과 같이 정의할 수 있다.

[eqn: bar boldX ~Ａ~ E `(bold X `) ~Ａ~ int from -inf to inf `x ```p_boldX `(x)~d`x]	(1-95)

만일, 이산적 랜덤변수에 대하여 식(1-64)에 주어진 유사 확률밀도함수(pseudo pdf)를 적용한다면, 그 평균값은 식(1-95)에 의하여 구할 수 있다. 따라서 식(1-95)는 식(1-94)의 정의도 포함하는 일반적인 관계식이라 볼 수 있다.

[예제 12] (Poisson distribution)

매개변수(parameter) □를 갖는 Poisson 분포의 확률함수는 다음과 같이 주어진다.

[eqn: P_boldX `(k) ``=`` {e^-lambda ``lambda^k } over {k`!} , ~~ for ~ k`=`0,`1,`2,`3,` cdots]

랜덤변수[eqn: boldX]의 평균값을 구하라.

[풀이]  식(1-94)를 이용하여 다음과 같이 계산된다.

[eqn: E( boldX ) &=`` sum_k=0 ^inf `k``{e^-lambda ``lambda^k} over {k`! } ``=`` e^-lambda `` left( lambda over 1 `+` {2 lambda^2} over {2`!} `+`{3 lambda^3} over {3`!} `+` cdots `right) # &=`` e^-lambda ``lambda`` left( 1 `+` lambda `+`{ lambda^2} over {2`!} `+` cdots `right) ``=`` lambda]

[예제 13] (Uniform distribution)

균일분포를 갖는 랜덤변수 X의 확률밀도함수는 다음과 같이 주어진다.

[eqn: p_boldX `(x) ``=`` 1 over {b `-` a} , ~~ for ~ a ``<=`` x ``<=`` b]

랜덤변수[eqn: boldX]의 평균값을 구하라.

[풀이]  식(1-95)를 이용하여 다음과 같이 계산된다.

[eqn: E( boldX ) &=`` int_a^b `x ``` 1 over {b`-`a} `` d`x ``=`` 1 over {b`-`a}`` x^2 over 2 right|_a^b # &=``{a `+` b} over 2]

우리들은 앞으로 어떤 랜덤변수 자체의 평균값보다도 그 랜덤변수의 함수에 대한 평균값을 필요로 하는 경우를 자주 접하게 될 것이다.

예컨대 잡음신호의 진폭을 표시하는 랜덤변수를 생각하여 보자. 이러한 경우, 실제적으로 잡음신호의 진폭에 대한 평균은 무의미하고, 그 제곱평균(mean-square)이 더욱 유용하게 된다. 왜냐하면 잡음신호의 진폭이 음, 양의 방향으로 거의 같은 양만큼 발생하였다면 이에 대한 평균은 0에 근접하는 값이 될 것이다. 그러나 이 때 실제의 잡음은 상당량 존재하는 것으로 판단되며, 이를 좀 더 의미 있게 표현하기 위해서는 제곱평균을 필요로 하게 되는 것이다.

일반적으로 랜덤변수 X에 대한 함수가

[eqn: bold Y ~Ａ~ g `( bold X `)]	(1-96)

와 같이 주어진다면, 랜덤변수 Y의 평균값은 정의에 의하여

[eqn: bar bold Y ~ Ａ~ E `( boldY `) ~Ａ`` `int from -inf to inf `y```p_boldY `(y )``d`y]	(1-97)

와 같이 표현되고, 이를 x 만의 식으로 표현하면

[eqn: bar bold Y ~Ａ~E `(bold Y `) ~Ａ~ int from -inf to inf `g`(x)``p_boldX `(x) `` d`x]	(1-98)

와 같이 쓸 수 있다.

이는 식(1-96)의 함수관계를 이용하여 [eqn: p_boldY (y) `dy `=` p_boldX (x)`dx] 임을 보임으로써 증명할 수 있다.

마찬가지로 이산적 랜덤변수에 대해서는

[eqn: bar bold Y ~Ａ~ bar{ g`(bold X )} ~Ａ~ sum from i `g `(x_i `)``P_boldX `(x_i )]	(1-99)

를 유도할 수 있다.

만일 랜덤변수 Z가 두 개의 랜덤변수 X,Y에 대한 함수

[eqn: boldZ ~Ａ~g (bold X,` boldY`)]	(1-100)

로 표현된다면, 랜덤변수 Z의 평균값은 정의에 의하여

[eqn: bar boldZ ~Ａ~ E `(bold Z ) ~Ａ~ int from -inf to inf z ``p_boldZ `(z`)`` d`z]	(1-101)

와 같이 쓸 수 있으며, 이를 x, y 만의 식으로 나타내면

[eqn: bar boldZ ~Ａ~ bar{ g`(boldX , boldY ) } ~Ａ~ int from -inf to inf int from -inf to inf ``g`(x,`y`) ~p_boldXY `(x,` y `)~d`x` ``d`y]	(1-102)

와 같다. 또한 이산적 랜덤변수에 관한 식은

[eqn: bar boldZ ~Ａ~ bar{ g( boldX , boldY ) } ~Ａ~ sum fromi sum from j `g `(x_i ,`y_j `)~P_boldXY `(x_i , `y_j `)]	(1-103)

와 같이 주어진다.

식(1-102), 식(1-103)은 n 개의 랜덤변수에 대해서도 자연스럽게 확장될 수 있음을 밝혀 둔다.

통계적 평균의 정의로부터 또 하나의 유용한 개념으로서 모멘트(moment)를 다음과 같이 정의한다.

<정의 : 모멘트(moment)>

1. 랜덤변수 X의 n-제곱평균을 다른 말로 n-차 모멘트(n-th moment)라 하고 다음과 같이 표현한다.

[eqn: E `( boldX ^n `) ~=~ int from -inf to inf `x^n ```p_boldX `(x`)~d`x]	(1-104)

2. 새로운 랜덤변수 (X-m)의 n-차 모멘트를 랜덤변수 X의 n-차 중앙모멘트(n-th central moment)라 하고 다음과 같이 표현한다. 여기서 m은 랜덤변수 X의 평균값이다.

[eqn: E `\{(bold X `- `m)^n \} &=~ int from -inf to inf (x``-``m)^n ```p_boldX `(x)`` d`x ## 여기서 & m ``=`` E `(bold X` )]	(1-105)

주지하는 바와 같이, 랜덤변수의 평균은 1-차 모멘트로, 제곱평균은 2-차 모멘트로 각각 대치할 수 있다.

또한 식(1-104) 및 식(1-105)의 우변은 식(1-98)을 이용하여 표현한 것이다. 만일 식(1-99)를 이용하여 이산적 랜덤변수의 모멘트를 구하면 다음과 같다.

[eqn: E `( boldX ^n `) ~=~ sum fromi `x_i `^n ``P_boldX `(x_i`)]	(1-106)

[eqn: E `\{(bold X `- `m)^n \} &=~ sum fromi `(x_i ``-``m)^n ``P_boldX `(x_i )]	(1-107)

랜덤변수 X의 2-차 중앙모벤트(the second central moment)를 특별히 분산(variance)이라 하며, [eqn: Var`(boldX` ) ~혹은~ sigma_boldX `^2]으로 표시한다. 즉

[eqn: Var`(boldX` ) ~=~ sigma_boldX `^2 ~ ==~ E` \{( bold X `- `m)^2 \}]	(1-108)

여기서 [eqn: m`=bar boldX `=`E (boldX )]로서 상수이므로, 괄호 안의 식을 전개하여 좀 더 유용한 식으로 만들면

[eqn: sigma_boldX ` ^2 & Ａ~ E `(boldX ^2 `)``-``2`m ``E`(bold X `) ``／`` m^2 ## &Ａ~ E`( boldX ^2 `)``-``2`m^2 ``／``m^2 ## &Ａ~ E`(bold X ^2 `)``-``m^2]	(1-109)

와 같이 정리된다. 결국 랜덤변수의 분산(variance)은 그 제곱평균(mean of its square)에서 평균제곱(square of its mean)을 뺀 값으로 주어진다.

[예제 14] (a Gaussian distribution)

랜덤변수 X의 확률밀도함수가 다음과 같이 주어진다.

[eqn: p_boldX `(x) ~=`` 1 over {sigma `sqrt {2pi}} ``e^{-(x`-`m)^2 `/`2 sigma^2 }]

이 랜덤변수의 평균[eqn: E`(bold X )], 제곱평균[eqn: E`(boldX ^2 )] 및 분산[eqn: sigma_boldX `^2]을 구하라.

[풀이] 식(1-95)를 이용하여

[eqn: E`(boldX ) ~=` int_-inf^inf `x ```p_boldX `(x)`` d`x ~=`` 1 over {sigma `sqrt {2pi}} int_-inf^inf `x ``e^{-(x`-`m)^2 `/`2sigma^2 } ``d`x]

와 같이 쓸 수 있으며, 여기서 [eqn: y`=x`-m]으로 치환하면

[eqn: E(boldX ) &=~ 1 over {sigma` sqrt {2pi}} int_-inf^inf `(y`+`m) ~e^{-y^2 `/`2sigma^2 }`` d`y ## &=~ 1 over {sigma` sqrt {2pi}} ``left( int_-inf^inf `y~ e^{-y^2 `/`2sigma^2} ``d`y ~+`` m int_-inf^inf `e^{-y^2 `/`2sigma^2 }`` d`y ``right)]

를 얻는다. 괄호 안의 첫번째 적분은 피적분함수가 기함수이므로 0 이 되며, 두번째 적분은 적분표(부록 Ⅰ)에 의하여 [eqn: sigma root 2pi] 임을 알 수 있다. 따라서 구하는 평균은

[eqn: E`(boldX ) ~=~ m]

이다.

제곱평균에 대해서는, 식(1-98)을 이용하고 [eqn: u`=`x`-`m]으로 치환하면

[eqn: E(boldX ^2 ) &=``1 over {sigma sqrt {2pi}} int_-inf^inf `x^2 ~e^{-(x`-`m)^2 `/`2sigma^2 } ``d`x ## &=`` 1 over {sigma sqrt {2pi}} int_-inf^inf `(u`+`m)^2 ~e^{-u^2 `/`2sigma^2} ``d`u ## &=~ 1 over {sigma sqrt {2pi}} ``left( int_-inf^inf `u^2 ~e^{-u^2 `/`2sigma^2} ``d`u ~+~ 2 `m int_-inf^inf `u ~e^{-u^2 `/`2sigma^2} ``d`u ## &~~~~~~~~~~~~~ +~ m^2 int_-inf^inf `e^{-u^2 `/`2sigma^2} ``d`u ``right)]

을 얻는다. 여기서 괄호 안의 두번째 적분은 0 이며, 나머지 두 적분은 적분표에 의하여 계산할 수 있다. 그 결과는 다음과 같다.

[eqn: E(boldX ^2 ) ~=~ sigma`^2 ~+~ m^2]

마지막으로 분산은 식(1-109)를 이용하여

[eqn: sigma_boldX`^2 ~=~ E`(boldX ^2` ) ``-`` left{E(boldX ) right}^2 ~=~ sigma` ^2]

와 같이 계산된다.

[예제 15] 통계적으로 독립인 두 랜덤변수 X, Y의 곱으로 표현되는 새로운 랜덤변수를 Z라 할 때, [eqn: E`(boldZ `) ``=`` E`(boldX` )` E`(boldY` )] 임을 보여라.

[풀이] 식(1-102)에 의하여 [eqn: boldZ]의 평균은

[eqn: E`(boldZ ) ~=`` int_-inf^inf int_-inf^inf `x`y ~p_boldXY `(x,`y) ``d`x``d`y]

로 표시되고, 여기서 두 랜덤변수 X, Y는 서로 독립이므로 식(1-90)에 의하여

[eqn: p_boldXY `(x,`y) ~=~ p_boldX `(x)` p_boldY` (y)]

이다. 따라서 위의 중적분은 각 변수에 대한 적분의 곱으로 분리되어

[eqn: E`(boldZ ) ~=`` int_-inf^inf `x `p_boldX `(x) ``d`x ~int_-inf^inf `y` p_boldY `(y) ``d`y ~=`` E`(boldX` )` E`(boldY` )]

와 같이 증명된다.

이 장에서 우리가 공부한 내용이 확률론의 전체일 수는 없다. 다만 독자들이 이 책을 통하여 정보공학에 관한 핵심적 개념들을 공부해 나가는 데 필요한 최소한의 내용을 알기 쉽게 기술하였을 따름이다. 따라서 이 책을 공부한 후 더욱 깊은 내용의 문헌을 접하게 된다면, 여기에 제시한 확률론의 내용으로는 사뭇 부족함을 느끼게 될 것이다.

확률론에 관한 더욱 풍부한 내용과 체계적 학습을 위하여 Ash의 책이나 Peebles의 책을 권하는 바이다.

.  C. Ash, The Probability Tutoring Book, 1993, IEEE Press.

P. Z. Peebles, Jr., Probability, Random Variables and Random Signal Principles, 2nd ed., 1987, McGraw-Hill.

연 습 문 제

1.1	□4 개의 완전한 동전을 한 번 던지는 시행□에 대하여, 각 동전의 앞면(Head)과 뒷면(Tail)을 결과로 삼을 때 다음을 구하라.

(a) 표본공간의 원소 수는 몇 개인가?

(b) 모두 뒷면이 나타날 확률은 얼마인가?

(c) 4 개 중 오직 하나의 동전이 앞면을 나타낼 확률은 얼마인가?

(d) 4 개 중 적어도 2 개의 동전이 앞면을 나타낼 확률은 얼마인가?

1.2	□3 개의 완전한 주사위를 한 번 던지는 시행□에 대하여, 각 주사위로부터 나타나는 □눈의 수□를 결과로 삼을 때 다음을 구하라.

(a) 표본공간의 원소 수는 몇 개인가?

(b) 나타난 숫자의 합이 8이 될 확률은 얼마인가?

(c) 나타난 3 개의 숫자가 모두 같을 확률은 얼마인가?

(d) 적어도 하나의 주사위에서 □6□이 나올 확률은 얼마인가?

1.3	항아리 안에 3 개의 적구와 2 개의 백구가 들어 있다. □연속적으로 2 개의 공을 꺼내는 시행□을 생각하여 보자. 두번째 공을 꺼내기 전에 첫번째 공을 항아리 속에 도로 넣는다고 할 때

(a) 둘 다 적구일 확률을 구하라.

(b) 둘 다 백구일 확률을 구하라.

(c) 적어도 하나가 적구일 확률을 구하라.

1.4	위 문제 1.3에서 첫번째 꺼낸 공을 도로 넣지 않는다고 가정하였을 때, 다음에 답하라.

(a) 둘 다 적구일 확률을 구하라.

(b) 둘 다 백구일 확률을 구하라.

(c) 적어도 하나가 적구일 확률을 구하라.

(d) 첫번째 공이 백구로 알려져 있는 경우, 두번째 공도 백구일 확률을 구하라.

(e) 두번째 공이 적구로 알려져 있는 경우, 첫번째 공이 백구일 확률과 적구일 확률을 각각 구하라.

1.5	두 개의 항아리가 있다. 그 중 하나에는 3 개의 적구, 5 개의 백구, 8 개의 흑구가 들어 있고, 다른 하나에는 6 개의 적구, 7 개의 백구, 4 개의 흑구가 들어 있다. □두 항아리에서 각각 하나씩의 공을 꺼내는 시행□에 대하여

(a) 꺼낸 공이 모두 적구일 확률을 구하라.

(b) 꺼낸 공이 동일한 색일 확률을 구하라.

(c) 꺼낸 공이 서로 다른 색일 확률을 구하라.

1.6	두 가지 시행을 생각하자. 하나는 □52 장의 카드가 들어 있는 완전한 카드함에서 한 장의 카드를 뽑는 시행□이며, 다른 하나는 □완전한 동전을 한 번 던지는 시행□이다. 사건 A를 □Ace를 뽑는 사건□이라 하고, 사건 B를 □동전의 앞면이 나타나는 사건□이라 할 때

(a) 결합사건 AB에 대한 확률 P(A,B)를 구하라.

(b) 사건 A와 사건 B에 대한 확률 p(A), p(B)를 각각 구하고, P(A,B)Ａp(A)p(B) 임을 보여라.

(c) 조건확률 P(A|B)와 P(B|A)를 구하라.

1.7	□완전한 카드함으로부터 연속적으로 2 장의 카드를 뽑는 시행□을 생각하여 보자. 이 때 두번째 카드는 첫번째 카드를 도로 넣지 않은 상태에서 뽑는다고 가정한다. 첫번째 시행에서 Ace를 뽑는 것을 사건 A라 하고, 두번째 시행에서 Ace를 뽑는 것을 사건 B라 하였을 때

(a) 결합사건 AB의 확률 P(A,B)를 구하라.

(b) 각각의 사건에 대한 확률 p(A) 및 p(B)를 구하라.

(c) 조건확률 P(B|A) 및 P(A|B)를 구하라.

(d) 식(1-18)의 Bayes 규칙이 성립함을 보여라.

(e) 두 사건은 종속사건임을 보여라.

1.8	A, B 두 사람이 차례로 완전한 주사위를 던지는 게임을 한다. A가 먼저 던지고 그 다음에 B가 던진다. 먼저 □6□이 나온 사람이 승리하며, 게임은 □6□이 나올 때까지 계속된다. A가 승리할 확률과 B가 승리할 확률을 각각 구하라.

1.9   색맹(color blind)일 확률은 남자가 0.02, 여자가 0.001 인 것으로 알려져 있다. 전체 인구의 53%가 남자인 어느 도시에서 임의로 한 사람을 조사하였을 때 색맹일 확률은 얼마인가?

1.10  Box A는 10 개의 백구와 20 개의 적구를, Box B는 7 개의 백구와 8 개의 적구를, Box C는 4 개의 백구와 5 개의 적구를 각각 포함하고 있다. 임의로 Box를 선택하여 하나의 공을 뽑았다. 만일 그 공이 백구였다면, 이것이 Box A로부터 나왔을 확률은 얼마인가 ?  또한 Box B로부터 나왔을 확률 및 Box C로부터 나왔을 확률도 각각 구하라.

1.11  (Binomial distribution)

어떤 시행의 결과가 오로지 두 가지(Success or Fail)로 나타나며, 이들의 확률은 각각 [eqn: \Pr `\{\Success \} `=` p ,~ \Pr `\{ \Fail \} `=` 1`-`p `=` q] 로 주어질 때, 이산적 랜덤변수 [eqn: boldX]를 □[eqn: n] 번 시행에서 성공(Success)하는 횟수 □ 라 하면, 그 확률함수는 다음과 같이 표현된다.

[eqn: P_boldX `(k`) &=``binom n k `p^k ``q^{n`-`k}, ~~ for ~k `=`0,`1,`2,` cdots,`n ## & 여기서 ~ binom n k ``=``{ n``!} over {k``! ```(n`-`k)``! }]

(a) 이 확률함수에 대하여 전체사건을 말하고, 식(1-37)이 성립됨을 보여라.

(b) 랜덤변수 [eqn: boldX]의 평균값 [eqn: E `(bold X `)]를 구하라.

(c) 랜덤변수 [eqn: boldX]의 제곱평균 [eqn: E` (bold X ^2 `)]와  분산 [eqn: sigma_boldX `^2] 을 구하라.

(d) 완전한 동전을 10 번 던져서 2 번 앞면이 나올 확률을 구하라.

(e) 평균적으로 100 글자 당 2 글자의 오자를 치는 타자수가 1,200 글자를 쳤을 때, 이 중 20 글자의 오자가 발견될 확률을 구하라.

(f) 주차위반 딱지는 평균적으로 5%의 주차에 대하여 발부된다. 주차된 7 대의 차량 중 적어도 1 대 이상의 차량에 딱지가 발부될 확률을 구하라.

1.12	(Gaussian distribution)

확률밀도함수(pdf)가 다음과 같이 주어지는 Gauss 분포에 대하여

[eqn: p_boldX `(x) ~Ａ~ 1 over {sigma `sqrt 2pi}``e^{ -(x`-`m)^2 `/`2sigma^2}]

(a) x에 따르는 [eqn: p_boldX `(x)]의 변화를 스케치하고, 식(1-62)가 성립함을 보여라.

(b) 누적분포함수(CDF) [eqn: F_boldX `(x)]를 [예제 7]에서 설명한 오차함수로 나타내어라.

(c) 랜덤변수 [eqn: boldX]의 평균 [eqn: E` (boldX )]와 제곱평균 [eqn: E`(bold X^2 )]을 구하라.

(d) 랜덤변수 [eqn: boldX]의 분산을 구하라.

1.13  랜덤변수 [eqn: boldX]의 확률밀도함수가 다음과 같이 주어진다.

[eqn: p_boldX `(x) ~=~ cases { ``1 over 2 , &~ -1 ``<=`` x ``<`` 0 ## ``1 over 2 `e^-x , &~~ x ``>=`` 0 }]

(a) x에 따르는 [eqn: p_boldX `(x)]의 변화를 스케치하라.

(b) 누적분포함수 [eqn: F_boldX `(x)]를 구하고, 그 그래프를 그려라.

1.14*  혼합형 랜덤변수 [eqn: boldX]의 누적분포함수가 다음과 같이 주어진다.

.  앞으로, 본문의 내용에 비하여 다소 수준이 높은 문제의 번호에는 □*□를 표시하기로 한다.

[eqn: F_boldX `(x) ~=~ cases{ `` 0, & ``x``<``-1 ## 1 over 8 `(x `+` 1 )^2 , & -1 ``<=`` x ``<``1 ## 3 over 4 , & 1 ``<=`` x ``<`` 2 ## 1 over 8 `x ``+`` 1 over 2 , & 2 ``<=`` x ``<`` 4 ## `` 1 , & ``x ``>=`` 4 }]

(a) x에 따르는 [eqn: F_boldX `(x)]의 변화를 스케치하라.

(b) [eqn: \Pr `\{boldX `=` 1 \}, ~ \Pr `\{boldX `<=` 1 \}, ~ \Pr `\{boldX `<` 1 \}] 등을 각각 구하라.

(c) [eqn: \Pr `\{1 `<=`boldX `<=` 3 \}, ~ \Pr `\{1 `<` boldX `<=` 3 \}, ~ \Pr `\{boldX `>` 4 \}] 등을 각각 구하라.

(d) 유사 확률밀도함수 [eqn: p_boldX `(x)]를 구하고, 그 그래프를 그려라.

1.15  두 개의 이산적 랜덤변수[eqn: boldX , `` boldY]의 결합 확률함수가 다음과 같이 주어진다.

[eqn: P_boldXY `(x,`y), ~ for &x`=`2,`3,`7 # &y`=`1,`3,`pi,`6]

y x	2	3	7
1	1/20	2/20	0
3	3/20	0	1/20
□	5/20	1/20	2/20
6	0	4/20	1/20

** 예 : [eqn: P_boldXY `(3,`pi ) ``=``1 over 20]

(a) 랜덤변수[eqn: boldX]의 확률함수 [eqn: P_boldX `(x)]를 구하라.

(b) 랜덤변수[eqn: boldY]의 확률함수 [eqn: P_boldY `(y)]를 구하라.

1.16  (separable case)

랜덤변수[eqn: boldX , `` boldY]의 결합 밀도함수가 다음과 같이 주어진다.

[eqn: p_boldXY `(x,`y) ~=~ 1 over 2 `x^3 `y , ~0``<=``x``<=``2, ~0``<=``y``<=``1]

(a) 식(1-70)을 만족함을 보여라.

(b) 한계밀도 [eqn: p_boldX `(x)]를 구하라.

(c) 한계밀도 [eqn: p_boldY `(y)]를 구하라.

(d) 두 랜덤변수[eqn: boldX , `` boldY]가 서로 독립임을 보여라.

1.17*  랜덤변수[eqn: boldX , `` boldY]가 다음과 같은 결합 밀도함수를 갖는다고 가정하자.

[eqn: p_boldXY `(x,`y) ~=~ K` e^{-`(x`+`y`)}, ~for~ x ``>=``0 ,~ y ``>=`` x]

(a) 식(1-70)을 만족하기 위한 상수 [eqn: K]의 값을 정하라.

(b) [eqn: \Pr `\{boldY `<` 2` boldX `\}]을 구하라.

(c) [eqn: \Pr \{max`(boldX , `boldY ) ``>`` 1 \}]을 구하라.

1.18*  (iid : independent and identically distribution)

랜덤변수[eqn: boldX_1 , boldX_2 , boldX_3 , boldX_4]가 서로 독립이며, 동일한 분포를 갖는다고 가정하자(iid). 각 랜덤변수의 확률밀도함수가 다음과 같이 주어질 때, 결합 밀도함수 [eqn: p_{boldX_1 boldX_2 boldX_3 boldX_4} `(x_1 ,` x_2 ,` x_3 ,` x_4 `)]을 구하라.

(a) 매개변수가 1인 지수분포, 즉 [eqn: p_boldX `(x) `=` e^-x , ~for~ x``>=``0]

(b) 매개변수가 1/4인 선형분포, 즉 [eqn: p_boldX `(x) `=` 1 over 4 `x , ~for~ 1``<=``x``<=``3]

(c) 단위 Gauss 분포, 즉 [eqn: p_boldX `(x) `=` 1 over root 2pi e^{-x^2 /2 }]

1.19	서로 독립인 두 개의 랜덤변수 X,Y가 모두 Gauss 분포를 가지며 각각 다음과 같은 확률밀도함수로 주어진다고 하자.

[eqn: p_boldX `(x`) ~Ａ~ 1 over {sigma_boldX ``sqrt 2pi }``e^{ -(x`-`m_boldX )^2 /2 ``sigma_boldX ` ^2 }## p_boldY` (y`) ~Ａ~ 1 over {sigma_boldY ``sqrt 2pi }``e^{-(y`-`m_boldY )^2 / 2``sigma_boldY `^2 }]

(a) 기대값이 각각 [eqn: E`(bold X ) `=` m_boldX , ~ E`(boldY ) `=` m_boldY]로 주어짐을 보여라.

(b) 각각의 제곱평균 [eqn: E`(boldX^2 )] 및 [eqn: E`(bold Y^2 )]을 구하라.

(c) 각각의 분산을 구하라.

(d) 결합 확률밀도함수 [eqn: p_boldXY `(x,`y )]를 구하라.

(e) 식(1-102)를 이용하여 [eqn: E `(boldXY )]를 구하라.

(f) 두 랜덤변수의 □합의 제곱평균□ [eqn: E `\{ (boldX `+` boldY )^2 \}]을 구하라.

1.20	랜덤변수 X의 확률밀도함수가

[eqn: p_boldX `(x`) ~Ａ~ 1 over {sigma `sqrt 2pi} ``e^{-(x`-`m)^2 `/`2 sigma^2}]

와 같이 주어질 때

(a) [eqn: boldY ``Ａ`` g( boldX `)``Ａ`` 3 bold X ``-``2] 일 때, 랜덤변수 Y의 기대값 [eqn: E `( boldY `)]를 구하라.

(b) [eqn: bold Z ``Ａ`` h `(bold X `)``Ａ``bold X ^2 ``／`` 2 bold X ``-``3] 일 때, 랜덤변수 Z의 기대값 [eqn: E `(bold Z `)]를 구하라.

(c) 1-차 중앙모멘트(1st central moment)를 구하라.

1.21	두 랜덤변수 X,Y의 결합 밀도함수가 다음과 같이 주어진다.

[eqn: p_boldXY `(x, `y`) ~Ａ~ 1 over {2`pi ``sigma^2} ``e ^{-(x^2 `／`y^2 `)/2 sigma ^2}]

(a) 식(1-70)을 만족함을 보여라.

(b) 한계밀도 [eqn: p_boldX `(x`)]와 [eqn: p_boldY `(y`)]를 구하라.

(c) 두 랜덤변수가 서로 독립임을 보여라.

1.22*	두 랜덤변수 X,Y의 결합 밀도함수가 다음과 같이 주어진다.

[eqn: p_boldXY `(x, `y`) ~Ａ~ K ``e ^{-(x^2 `+` 2`x`y ``／`2`y^2 `)}]

(a) 식(1-70)을 만족하기 위한 상수 [eqn: K]의 값을 정하라.

(b) [eqn: bold Z ```=`` boldXY] 일 때, 랜덤변수 [eqn: bold Z]의 평균과 제곱평균을 구하라.

(c) [eqn: bold W ```=`` 2`boldX ``+`` 3`boldY] 일 때, 랜덤변수 [eqn: bold W]의 평균과 제곱평균을 구하라.

1.23*	(특성함수 : Characteristic function)

[eqn: P_boldX `(omega`)]는 확률밀도함수 [eqn: p_boldX` (x`)]의 Fourier 변환으로

[eqn: P_boldX `(omega`) ~==`` int from -inf to inf `p_boldX `(x`)``` e^{-`j `omega` x} ``d`x]

와 같이 정의되고, [eqn: m_n]은 랜덤변수 X의 n-차 모멘트(n-th moment)이다.

(a) 다음 식이 성립함을 보여라.

[eqn: m_n ~Ａ~ (j)^n ``{d^n ``P_boldX `(omega`)} over {d `omega^n } right| _{omega`=`0}]

(b) [eqn: P_boldX` (omega`)]를 Taylor 급수로 전개했을 때, 다음과 같은 관계식이 성립함을 증명하라.

[eqn: P_boldX `(omega`) &Ａ~ m_0 ``-``j`m_1 `omega ``-``{m_2 `omega^2} over {2`!} ``／`` {j`m_3 `omega^3} over {3`!} ``／``…``## &Ａ~ sum from nＡ0 to inf `(-`j `)^n``m_n ``left(omega^n over {n`!} right)]