제 8 장

채널의 특성과 상호정보

8-1  채널과 정보의 전달

우리는 지금까지 제6장과 제7장을 통하여 소스의 정보공학적 특성과 소스코딩의 한계에 대하여 논의하였다. 정보공학에 있어서 소스는 정보의 원천으로부터 얻을 수 있는 정보의 양을 근간으로 평가되기 때문에 근본적으로 채널의 역할을 배제한 상태에서 논의될 수 있다.

	정보이론

제 8 장 BSC에의 적용

그러나 이렇게 하여 취득된 정보는 다른 장소로 혹은 미래로 전달됨으로써 그 유용성이 발휘될 수 있음은 명백한 사실이다. 일정한 양의 정보를 현 위치로부터 다른 장소로 전달하는 과정을 전송(transmission)이라 하며, 정보를 현재로부터 미래로 전달하는 과정을 저장(storage)이라 한다. 이러한 두 가지 정보전달 과정에서 필연적으로 도입되어야 하는 개념이 바로 채널(channel)이다.

정보공학에 있어서 채널이라는 용어는 □정보전달의 과정에서 방해를 일으키는 모든 원인의 총체□로 파악하며, 전송에 있어서는 지리적인 채널이, 저장에 있어서는 시간적인 채널이 존재한다고 말할 수 있다. 또한 채널이 존재한다는 것은 곧 정보전달을 방해하는 잡음(noise)이 존재함을 의미하며, 잡음은 디지탈신호를 왜곡시켜 오류(error)를 발생시키게 된다.

신호의 전송을 위한 전송로(transmission path)를 아무리 우수한 것으로 설치하였다고 하더라도 채널의 전송환경과 전송속도 및 전송거리 등에 따라 피할 수 없는 잡음이 발생하게 된다. 또한 정보의 저장을 위하여 아무리 우수한 저장매체를 사용한다고 하더라도 그 매체가 보관되는 환경과 저장시간 등에 따라 피할 수 없는 오류가 발생하게 되는 것이다. 일반적으로 전송속도가 빠를수록 전송거리가 멀수록 그리고 저장시간이 길수록 오류의 발생은 증가한다.

우리는 제3장에서 이러한 오류를 제어할 수 있는 몇 가지 채널코딩(channel coding) 방법을 설명한 바 있다. 이들은 채널을 통과한 정보가 오류를 포함하고 있을 때 그것을 검출하거나 정정함으로써 시스템의 신뢰성을 향상시키는 역할을 한다. 그렇다면 이러한 오류제어 코드체계를 사용하여 얻을 수 있는 신뢰성의 한계는 무엇이며, 주어진 채널 환경에 대하여 성취할 수 있는 최대 효율성의 한계는 무엇인가? 이것이 이 장으로부터 시작하여 우리가 분석하고자 하는 주된 문제이다.

우선 이 장에서는 소스의 분석에 있어서 배제되었던 채널의 특성을 정보전달의 관점에서 상세히 검토하고자 한다. 이를 위하여 제6장에 소개하였던 Entropy의 개념을 채널통과 이전(a priori)과 채널통과 이후(a posteriori)에 대하여 적용함으로써 채널에 의하여 변화된 정보의 양을 산출할 것이다. 이는 결국 수신측이 채널을 통하여 획득할 수 있는 정보의 양으로서 그 채널의 상호정보(mutual information)로 정의되며, 이것을 기준으로 채널의 정보공학적 특성을 파악하게 된다.

이어서 제9장에서는 임의의 채널에 대하여 상호정보의 최대값을 산출하게 되는데, 이는 그 채널이 전송할 수 있는 최대 평균정보량으로서 이른바 채널용량(channel capacity)이라 정의된다. 이와 같은 과정에 의하여 산출된 채널용량은 궁극적으로 그 채널에 의하여 성취할 수 있는 최대의 효율성을 한정하며, 어떠한 코드체계를 사용하더라도 채널용량을 초과하는 효율성은 얻어질 수 없음을 입증하게 된다.

그러나 우리가 제7장에서 확인했던 바, 소스코드의 효율성이 그 시스템의 Entropy로 한정되지만 적절한 코드체계의 구성에 의하여 Entropy에 무한히 접근하는 효율성을 성취할 수 있었던 것처럼, 채널코딩에 있어서도 무한히 작은 오류확률(error probability)을 가지면서 그 효율성이 채널용량에 무한히 접근하는 코드체계가 존재함을 입증할 수 있다. 이것이 □Shannon의 정리□의 요체이다. 우리는 이 핵심적인 정리를 이 책의 마지막 장에서 취급하려 한다.

8-2  정보채널과 채널관계식

정보통신시스템이나 정보저장시스템에 있어서 잡음(오류)은 시스템을 구성하고 있는 모든 부분에서 발생할 수 있다. 그러나 지금부터 우리가 분석하고자 하는 것은 주로 정보의 전송과정이나 저장과정에서 나타나는 제반 문제들에 국한됨으로 오류는 오직 채널에서만 발생된다고 가정한다.

우리는 제2-2절에서 일반적인 신호시스템의 모델을 설정하였다(그림 2-3). 이 모델에 있어서 채널은 인코딩된(소스코딩 및 채널코딩) 정보가 입력되고 오류에 의하여 변질된 정보가 출력되는 하나의 변환기(converter)로 취급할 수 있다. 따라서 채널의 입력으로 작용하는 정보를 하나의 알파벳으로 표현한다면, 채널의 출력은 또 다른 알파벳으로 표현할 수 있을 것이다. 일반적으로 이 두 가지 알파벳은 서로 다른 심볼들을 포함할 수 있으며, 각 심볼의 발생확률도 서로 다른 분포를 갖게 된다.

채널의 입력으로 작용하는 정보의 알파벳을 송신알파벳(Tx. alphabet)이라 하고 다음과 같이 표시하기로 한다.

[eqn: A ~=`` \{` a_1 ,` a_2 ,` cdots,` a_q \} ~:~ q ~\symbols]	(8-1)

또한 채널의 출력으로 나타나는 정보의 알파벳을 수신알파벳(Rx. alphabet)이라 하고 다음과 같이 표시하기로 한다.

[eqn: B ~=`` \{`b_1 ,`b_2 , `cdots,` b_s \} ~:~ s ~\symbols]	(8-2)

이와 같은 두 가지 알파벳이 각각 입력과 출력으로 작용하는 경우, 채널의 역할은 다음과 같이 표현될 수 있다.

□송신측에서 송신알파벳 내의 임의 심볼 [eqn: a_i ``(i`=`1,`2,`cdots,`q)]를 전송했다는 조건 하에서 수신측은 수신알파벳 내의 심볼 [eqn: b_j ``(j`=`1,`2,`cdots,`s)]를 수신하도록 한다.□

채널을 확률적 관계로 표현한다면, 위에 설명된 채널의 역할은 제1-4절에서 소개하였던 전향 조건확률(forward conditional probability)이 정의되는 개념과 정확히 동일하다. 다시 말해서 채널은 송신측에서 발생되는 심볼을 조건으로 수신측의 심볼이 결정되는 조건확률에 의하여 그 특성을 규정지을 수 있다는 것이다.

따라서 채널은 이러한 전향 조건확률들을 원소로 하는 집합으로 표현할 수 있으며, 이와 같이 설정된 채널의 통계적 모델을 정보채널(information channel)이라고 한다. 그림 8-1은 식(8-1)에 주어진 송신알파벳과 식(8-2)에 주어진 수신알파벳으로 이루어지는 정보채널의 확률적 관계를 나타내고 있다.

여기서 송신알파벳의 원소 수 q와 수신알파벳의 원소 수 s가 반드시 같아야 하는 것은 아니다. 만일 송신측과 수신측에서 서로 다른 코드체계를 사용하고 있다면 양쪽의 알파벳은 서로 다른 원소로 구성될 것임으로 그 원소 수도 다르다고 보아야 할 것이며, 이들이 혹 동일한 코드체계를 사용한다고 하드라도 수신측의 정보는 채널 상의 오류에 의하여 송신측과는 다른 알파벳을 갖게 되는 경우가 많다.

그림 8-1  정보채널 모델

예를 들어서 주어진 채널에 대하여 오류정정코드를 적용한다면, 수신알파벳은 송신알파벳에 비하여 월등히 많은 원소를 갖게 될 것이다(sＢq). 왜냐하면 이 때의 송신알파벳은 일정한 Hamming 거리(제3장 참조)를 유지하는 심볼들로 구성되지만, 수신알파벳은 채널 상의 오류에 의하여 Hamming 거리 □1□인 모든 심볼들로 구성될 것이기 때문이다. 반대로, 만일 어떤 채널이 서로 다른 두 가지 입력 심볼에 대하여 동일한 심볼을 대응시키는 방법으로 정보를 처리하고 있다면, 채널 상의 오류를 고려한다고 하더라도 수신알파벳의 원소 수는 송신알파벳의 원소 수를 초과할 수 없을 것이다(s□q).

이제, 그림 8-1에 도시된 정보채널을 이용하여 채널의 특성을 분석해 보기로 하자. 전술된 바와 같이, 정보채널은 전향 조건확률 P(bj | ai)의 집합으로 표현될 수 있는데, 이들 조건확률은 채널의 입력과 출력을 상호 관련시키는 확률로서 채널확률(channel probability)이라 부른다.

송신알파벳의 심볼 수가 q 개이고 수신알파벳의 심볼 수가 s 개인 정보채널에 대하여 채널확률은 모두 q×s 개 존재하며, 이들을 관습적으로 다음과 같이 표시한다.

[eqn: P_{i,`j} ~=`` P`(b_j vert a_i ) ``,~ for ~i`=`1,`2,`cdots,`q ~~j`=`1,`2,`cdots,`s]	(8-3)

이 등식의 좌변과 우변에서 첨자의 순서가 바뀌어 있다. 이는 조건확률을 표시하는 관습적인 방식이 그러하므로 그 관례에 따라 표시한 것이다.

정보채널은 식(8-1)에 주어진 채널확률들을 원소로 하는 행렬(matrix)에 의하여 완벽하게 표현할 수 있다. 즉, 행렬의 각 행(row)은 임의의 송신심볼 ai에 대한 채널확률로 구성하고, 행렬의 각 열(column)은 수신심볼 bj에 대한 채널확률로 구성함으로써 정보채널을 다음과 같이 표현할 수 있다는 것이다.

[eqn: T ~=``bmatrix {P_{1`,`1} & P_{1`,`2} & cdots &P_{1`,`s}# P_{2`, `1} &P_{2`,`2} & cdots &P_{2``,s}# vdots& vdots && vdots# && P_{i`,`j} & # vdots& vdots && vdots# P_{q`,`1} &P_{q`,`2} &□&P_{q`,`s} ``}]	(8-4)

이를 주어진 정보채널의 천이행렬(transition matrix)이라 하며, 여기에는 모든 송신심볼과 수신심볼에 대한 채널의 변환관계가 표시되어 있다. 우리는 이러한 천이행렬을 사용하여 시스템의 신호형태(signal format), 검파장비(detection equipment), 채널의 대역폭(bandwidth) 등을 특별히 고려하지 않고도 채널에 관한 여러 가지 문제를 용이하게 취급할 수 있는 것이다.

식(8-4)에 주어진 일반적인 정보채널의 천이행렬은 기본적으로 다음과 같은 성질을 갖는다.

1. i 번째 행은 i 번째 입력심볼 ai에 관련된 채널확률을 포함한다.

2. j 번째 열은 j 번째 출력심볼 bj에 관련된 채널확률을 포함한다.

3. 임의의 행에 있는 모든 원소를 합하면 항상 1이 된다.

4. 만일 하나의 입력심볼 ai가 발생하면, 이에 대하여 반드시 하나의 출력심볼이 결정된다.

이들 중 성질 1 및 2는 천이행렬에 대한 원래의 정의에 의하여 자명한 사실이다. 또한 성질 3은 제1장의 식(1-48)에 의하여 다음과 같이 입증될 수 있다.

[eqn: sum_j=1^s P_{i`,`j} ~=`` sum_j=1^s P`(b_j vert a_i ) ~=~ 1]	(8-5)

마지막으로 성질 4는 식(1-42) 및 식(1-49)에 의하여 입증된다. 즉, 임의의 입력심볼이 발생될 확률과 그에 대한 채널확률을 곱하여 전체적으로 합하면

[eqn: sum_i=1^q sum_j=1^s `P`(b_j vert a_i ) ``p(a_i ) ~= ``sum_i=1^q sum_j=1^s `P`(a_i ,` b_j ) ~=~ 1]	(8-6)

을 얻는다. 이는 정보채널의 입력으로 무엇이든 하나의 심볼이 인가되면 출력에는 반드시(확률 1) 하나의 심볼이 나타나게 된다는 사실을 말해주고 있다.

요컨대, 조건확률 Pi,j로 구성되는 천이행렬은 주어진 채널의 특성을 완전하게 규명한다. 여기서 정보채널은 시간에 따라 채널확률이 변화하지 않는 시불변채널(stationary channel)이고, 오류는 각각 독립적으로 발생한다고 가정하였다.

[예제 1] 송·수신 알파벳과 정보채널의 천이행렬이 다음과 같이 주어질 때

[eqn: &A ~=`` \{a_1 ,` a_2 , `a_3 \} ~~~B ~=`` \{b_1 ,` b_2 ,`b_3 \} ## &~~~~~T ~=~ bmatrix{ ``0.8 ~& 0.1 ~& 0.1 ## ``0.2 ~& 0.7 ~& 0.1 ## ``0.1 ~& 0.3 ~& 0.6 ``}]

송신 확률분포[eqn: P_A `=`[p(a_1 ) ``` p(a_2 ) ``` p(a_3 )] `=` [0.5````` 0.2 `````0.3 ]]에 대한 수신 확률분포[eqn: P_B `=` [p(b_1 ) ````p(b_2 ) ````p(b_3 )]]를 구하라

[풀이]

제1장의 식(1-27)로 주어진 전체확률의 정리를 이용하여

[eqn: p(b_j ) ~=` sum_i=1^q `P(b_j vert a_i ) `p(a_i ) ~=` sum_i=1^3 `P_{i`,`j} ```p(a_i )`, ~ j `=` 1,`2,`3]

을 얻을 수 있다. 이 식에 의하여 각 수신심볼들의 확률은 다음과 같이 계산된다.

[eqn: p(b_1 ) &=`sum_i=1^3 `P_{i`,`1} ``` p(a_i ) ~=`` 0.8`p(a_1 )`+` 0.2`p(a_2 ) `+` 0.1`p(a_3 ) ~=~ 0.47 # p(b_2 ) &=` sum_i=1^3 `P_{i`,`2} ``` p(a_i ) ~=`` 0.1`p(a_1 )`+` 0.7`p(a_2 )`+` 0.3`p(a_3 ) ~=~ 0.28 # p(b_3 ) &=` sum_i=1^3 `P_{i`,`3} ``` p(a_i ) ~=`` 0.1`p(a_1 )`+` 0.1`p(a_2 ) `+` 0.6`p(a_3 ) ~=~ 0.25]

따라서 수신 확률분포는 다음과 같다.

[eqn: P_B ~=`` [p(b_1 )```` p(b_2 )```` p(b_3 )] ~=~ [0.47 ````` 0.28 ````` 0.25]]

그림 8-1의 정보채널에 있어서, 송신심볼들이 확률 p(ai)(i = 1, 2, …,q)에 따라 선택된다면, 이들을 채널의 선험적 확률(a priori probability)이라 부른다. 선험적 확률은 송신심볼들의 발생확률임으로 송신측의 추정에 의하여 이미 알려져 있는 분포에 따라 결정되는 기지의 확률이라고 볼 수 있다. 그러나 수신심볼들의 발생확률 p(bj)(j = 1, 2, …,s)는 전술된 선험적 확률과는 달리 수신측의 추정에 의하여 얻어내는 것은 무의미하다. 왜냐하면 수신심볼의 발생확률은 채널의 특성에 따라 달라지므로 채널이 바뀌면 새로이 추정해야 할 것이기 때문이다.

따라서 우리는 이 두 가지 확률분포 사이에 채널의 특성에 따라 성립되는 관계식을 필요로 한다. 이 관계식은 결국 식(8-4)에 주어진 채널의 천이행렬에 의하여 선험적 확률과 수신심볼의 발생확률을 관련지어 수신측의 추정에 의하지 않고도 그 분포를 산출할 수 있게 해 준다.

위에 제시한 [예제 1]은 바로 이와 같은 관계식의 간단한 경우를 취급한 것으로, 이 과정을 식(8-4)에 주어진 천이행렬에 적용하여 일반화하면 다음과 같은 관계식을 얻을 수 있다.

[eqn: &P_{1`,`1} ```p(a_1 ) ``+`` P_{2`,`1} ```p(a_2 ) ``+`` cdots ``+`` P_{q`,`1} ```p(a_q ) ~=~ p(b_1 ) ## &P_{1`,`2} ```p(a_1 ) ``+`` P_{2`,`2} ```p(a_2 ) ``+`` cdots ``+`` P_{q`,`2} ```p(a_q ) ~=~ p(b_2 ) ## & ~~~vdots ~~~~~~~~~~~~vdots ~~~~~~~~~~~~~~~~~vdots ~~~~~~~~~~vdots ## &P_{1`,`s`} ```p(a_1 ) ``+`` P_{2`,`s} ```p(a_2 ) ``+`` cdots ``+`` P_{q`,`s`} ```p(a_q ) ~=~ p(b_s `) #]	(8-7)

이를 식(8-3)에 의하여 전향 조건확률로 표시하면

[eqn: sum_i=1^q `p(a_i )``P`(b_j vert a_i ) ~=`` p(b_j )`,~ j `Ａ`1,`2,` cdots,`s]	(8-8)

와 같이 나타난다. 이는 제1장의 식(1-27)로 주어진 전체확률의 정리를 각 수신심볼에 대하여 적용한 것이며, 이를 주어진 채널의 채널관계식(channel relationship)이라 부른다. 또한 이 채널관계식을 벡터와 행렬에 의하여 나타내면

[eqn: bold P_a^t ```boldT ~=~ bold P_b^t]	(8-9)

와 같이 더욱 간단한 식으로 표현할 수 있다. 여기서 행렬 T는 식(8-4)에 주어진 채널의 천이행렬이며, 좌변과 우변에 주어진 벡터는 각각 송·수신측의 확률분포를 표시하는 행벡터(row vector)로서

[eqn: bold P_a^t ~=~ bmatrix {p(a_1 ) ```p(a_2 ) ``` cdots ```p(a_q ) `}]	(8-10)

[eqn: bold P_b^t ~=~ bmatrix {p(b_1` ) ```p(b_2` ) ``` cdots ```p(b_s `) `}]	(8-11)

을 표시한다.

.  일반적으로 벡터는 열벡터(column vector)를 말한다. 그러나 채널관계식에서 송·수신 발생확률을 표시하는 벡터는 행벡터(row vector)이기 때문에 열벡터의 전치행렬(transpose)을 사용한 것이다.

이제, 우리가 유도한 채널관계식을 몇 가지 특별한 경우에 적용하여 그 개념을 좀 더 확실히 인식해 보기로  하자.

만일, 잡음이 전혀 발생하지 않는 채널이 존재한다면(noiseless channel), 하나의 송신심볼 ai에 대하여 하나의 채널확률 Pi,j 만이 1이고 나머지 다른 채널확률들은 모두 0이 될 것이다. 따라서 이 때에는 하나의 p(ai)에 대하여 하나의 p(bj)가 대응되어

[eqn: p(b_j ) ~=`` p(a_i )`, ~ for~ \matching~ i,``j `,~ for~ \all ~ a_i]	(8-12)

와 같은 관계를 만족하게 된다. 이는 하나의 송신심볼에 대하여 정확히 하나의 수신심볼이 대응되고 있음을 말해주며, 결국 채널은 아무런 오류도 발생시키지 않는다.

반대로, 만일 채널이 잡음에 의하여 완전히 지배를 받는다면(all-noise channel), 각각의 수신심볼은 주어진 송신심볼 ai에 관계없이 모두 동일한 확률 갖게된다. 따라서 이 때에는 수신심볼의 발생확률이

[eqn: p(b_j ) ~=`` 1 over s `,~for ~\all~ j `,~ for ~\any ~a_i]	(8-13)

와 같이 주어져, 하나의 송신심볼에 대하여 수신심볼을 결정할 수 없는 상태가 된다. 그러므로 이 때 채널은 최대의 오류를 발생하게 될 것이다.

만일 채널의 입력으로 인가되는 송신심볼의 발생확률이 균일분포를 갖는다면(uniform input), 모든 송신심볼에 대하여 p(ai) Ａ 1/q을 만족함으로 식(8-8)에 의하여

[eqn: p`(b_j`) ~=`` 1 over q ``sum_i=1^q ``P`(b_j vert a_i ) `,~ j`=`1,`2,` cdots,`s]	(8-14)

를 얻는다. 따라서 이 때에는 수신심볼의 발생확률이 오직 채널확률에 의하여 결정된다고 볼 수 있다.

이제, 관점을 수신측으로 옮겨보자. 만일 수신측에서 정보채널을 통하여 하나의 심볼 bj를 수신하였다면, 송신측에서 어떤 심볼을 전송했을 것이라고 추정해야 하는가? 사실 이러한 추정은 바로 수신기의 기본적인 역할이라고 할 수 있으며, 그 과정을 통하여 송신측의 정보를 획득하게 되는 것이다. 이러한 과정은 위에서 우리가 채널확률을 정의했던 개념과 정확히 역순으로 이루어 진다고 할 수 있다. 다시 말해서, 채널확률은 □송신심볼 ai가 주어진 조건 하에서 수신심볼 bj가 발생할 확률□을 말하며, 지금 취급하고자 하는 수신측의 관점은 □수신심볼 bj가 주어진 조건 하에서 송신심볼 ai가 보내졌을 확률□을 역으로 추정하는 것이다. 전자를 전향 조건확률(forward conditional probability)이라 한다면, 후자는 후향 조건확률(backward condition probability)이다.

.  송신심볼의 발생확률을 선험적 확률(a priori probability)이라고 부르는 것은 심볼이 채널을 통과하기 전에 가지는 확률이기 때문이다. 한편, 그 심볼이 채널을 통과한 후에 가지는 확률은 후향 조건확률이라고 할 수 있다. 따라서 후향 조건확률을 후험적 확률(a posteriori probability)이라고 부르기도 한다.

수신측은 후향 조건확률에 의하여 송신측이 보낸 심볼을 추정할 수 있는 것이다. 이들 사이의 관계는 이미 제1장의 식(1-32)에 주어진 Bayes 규칙에 의하여 알려진 바, 우리의 정보채널에 관해서는 다음과 같이 표현할 수 있다.

[eqn: P`(a_i vert b_j ) ~=~ {P`(b_j vert a_i ) ``p(a_i )} over {p(b_j )}`,~ for ``\all ~ i`,`j]	(8-15)

수신측은 수신된 하나의 bj를 조건으로, 식(8-15)와 같은 후향 조건확률을 모든 송신심볼 ai에 대하여 계산하고, 이들 중 가장 큰 확률을 갖는 것으로 송신심볼을 추정할 수 있을 것이다.

.  수신측에서 송신심볼을 추정함에 있어서, 후향 조건확률이 가장 큰 것으로 추정하는 방법을 MLD 규칙(maximum-likelihood decision rule)이라 부른다. □추정이론□에서는 MLD 규칙 이외에도 □Neyman-Pearson 규칙□, □Probability-of-error 규칙□, □Bayes risk 규칙□, □Min-Max 규칙□ 등 시스템의 조건에 따라 여러 가지 추정방법을 제시하고 있다.

추정이론에 대하여 좀 더 상세히 공부하고자 하는 독자는 다음 문헌을 참고하라.

J.L.Melsa and D.L.Cohn, Decision and Estimation Theory, 1978, McGraw-Hill.

식(8-15)에서 우변의 분모인 p(bj)를 식(1-27)에 주어진 전체확률의 정리에 의하여 표시하면, 후향 조건확률은 선험적 확률과 전향 조건확률에 의하여 다음과 같이 나타낼 수 있다.

[eqn: P`(a_i vert b_j ) ~=`` {P`(b_j vert a_i ) ``p(a_i ) } over {sum_i=1^q `P`(b_j vert a_i ) ``p(a_i )} `,~ for`` \all ~ i`,`j]	(8-16)

사실, 이것은 정보채널을 취급함으로써 얻어진 새로운 관계식이 아니라, 제1장의 식(1-33)으로 주어진 전체확률에 의한 Bayer 규칙을 정보채널에 적용하여 얻은 것이라고 볼 수 있다.

또한 식(8-16)의 후향 조건확률을 모든 ai (i=1,2,□,q)에 대하여 합하면 식(1-47)에 의하여

[eqn: sum_i=1^q `P`(a_i vert b_j ) ~=~ 1]	(8-17)

로 나타나는데, 이 식의 의미는 □수신측에 하나의 심볼 bj가 수신되었다면 송신측에서는 반드시(확률 1) 어떤 심볼 ai를 인가하였음□을 뜻한다. 정보채널에 있어서, 송신측이 아무런 심볼도 인가하지 않았는데 수신측에서 임의의 심볼을 획득할 수는 없는 것이다.

[예제 2] 정보채널의 천이행렬과 선험적 확률이 위 [예제 1]과 같이 주어졌을 때, 수신측에서 심볼 □b2□가 수신되었다. 이에 대한 후향 조건확률들을 구하고, MLD 규칙에 의하여 송신된 심볼을 추정하라.

[풀이]

수신심볼 □b2□에 대하여, [예제 1]에서 구한 확률들을 적용하여 식(8-15)의 후향 조건확률들을 구하면 다음과 같다.

[eqn: P`(a_1 vert b_2 ) &=~ {P`(b_2 vert a_1 ) ``p(a_1 ) } over {p(b_2 )} ~=~ {0.1 cdot 0.5} over 0.28 ~simeq~ 0.1786 ## P`(a_2 vert b_2 ) &=~ {P`(b_2 vert a_2 ) ``p(a_2 ) } over {p(b_2 )} ~=~ {0.7 cdot 0.2} over 0.28 ~=~ 0.5 ## P`(a_3 vert b_2 ) &=~ {P`(b_2 vert a_3 ) ``p(a_3 ) } over {p(b_2 )} ~=~ {0.3 cdot 0.3} over 0.28 ~simeq~ 0.3214]

이러한 계산 결과에 따라, 수신측은 MLD 규칙에 의하여 송신심볼을 □a2□라고 추정한다.

8-3  이진 대칭채널 (BSC: binary symmetric channel)

일반적으로 이진 디지탈 통신시스템의 채널은 오직 두 가지 신호수준(signal level)만을 사용하여 전송한다. 우리는 이들을 각각 □0□과 □1□로 표시하여 그 신호수준을 대표하는 기호로 사용한다. 물론, 여러 개의 신호수준을 사용하는 디지탈 통신시스템도 널리 사용되고 있으나, 간단한 전송체계가 열악한 잡음환경에서 동작해야 하는 경우 흔히 이진 시스템으로 설계된다.

이진채널(binary channel)은 그림 8-1에 도시된 정보채널 모델의 특별한 경우로서, 그 송신알파벳과 수신알파벳이 각각 □0□과 □1□의 두 가지 심볼만을 포함하는 채널을 말한다. 즉, 이진채널의 송·수신알파벳은 모두

[eqn: A ~=`` B ~=`` \{`` 0`, ~ 1`\}]	(8-18)

와 같이 표현되어, 이진 디지탈 통신시스템의 채널 모델로 널리 사용되고 있다.

그림 8-2는 앞에서 논의된 정보채널 모델을 근거로 구성된 이진채널 모델을 나타내고 있다. 주지하는 바와 같이, 송신심볼의 수가 q=2 이고, 수신심볼의 수가 s=2 이므로 채널확률은 모두 q×s=4 개 존재한다.

그림 8-2  이진채널 모델

이들을 조건확률로 나타내면

[eqn: & P_{0`,`0} ~=``` P`(b`=`0 vert a`=`0)~ , &~P_{0`,`1} ~=``` P`(b`=`1 vert a`=`0) ## & P_{1`,`0} ~=``` P`(b`=`0 vert a`=`1)~ , &~ P_{1`,`1} ~=``` P`(b`=`1 vert a`=`1)]	(8-19)

와 같다.

이진채널의 채널확률들이 다음과 같은 두 가지 조건을 만족할 때,

[eqn: P_{0`,`0} ``=``P_{1`,`1} ~~\& ~~P_{0`,`1} ``=`` P_{1`,`0}]	(8-20)

채널은 대칭성을 갖는다고 말하며, 이러한 정보채널을 이진대칭채널(binary symmetric channel)이라 부른다. 또한 이를 간단히 □BSC□로 표시한다.

만일 어떤 이진채널이 식(8-20)의 대칭성을 만족하지 않는다면, 그 시스템을 다루는 운용자는 시스템의 몇 가지 조건을 조정함으로써 대칭성이 확보되도록 할 수 있는 것이 보통이다. 따라서 일반적인 이진 디지탈 통신시스템의 채널을 이러한 □BSC□로 간주하드라도 큰 무리는 없을 것이다.

이제, 송신심볼의 발생확률(선험적 확률)을 다음과 같이 가정하여 보자(소문자).

[eqn: Pr`\{`a`=`0 \} ~=`` p]

[eqn: Pr`\{`a`=`1 \} ~=~ 1``-``p ~=``q]	(8-21)

또한 □BSC□의 채널확률(대문자)이 각각

[eqn: P_{0`,`0} ~=`` P_{1`,`1} ~=~ P]

[eqn: P_{0`,`1} ~=`` P_{1`,`0} ~=~ Q]	(8-22)

로 주어진다고 가정하자.

이 채널의 천이행렬(transition matrix)은 식(8-4)로부터

[eqn: T ``~=~bmatrix { `P &~~ Q``` ## `Q &~~ P``` }]	(8-23)

와 같이 주어진다.

식(8-9)의 채널관계식(channel relationship)을 이 채널에 적용하면

[eqn: bmatrix{p ~~``q`` } bmatrix{ P &~~Q`` ## Q &~~P ``} ~=~ bmatrix{ Pr \{`b`=`0 \} ~`` Pr \{`b`=`1 \} ``}]	(8-24)

와 같이 나타나고, 이를 이용하여 수신심볼의 발생확률을 구하면 다음과 같다.

[eqn: & Pr \{` b`=`0 \} ~=`` p`P ```+`` q`Q ~=`` p`P ```+`` (1``-``p)` Q ## & Pr \{` b`=`1 \} ~=`` p`Q ```+`` q`P ~=`` p`Q ```+`` (1``-``p)` P]	(8-25)

앞에서 설명한 바와 같이, 수신측에서 채널로부터 하나의 심볼을 획득하고 그에 대한 송신심볼을 추정하기 위해서는 이른바 후향 조건확률(backward conditional probability)이 필요하다.

이 채널에서 필요한 네 가지 후향 조건확률들은 식(8-15)를 □BSC□에 적용하고, 위에서 구한 식(8-25)의 확률을 대입함으로써 다음과 같이 쉽게 계산될 수 있다.

[eqn: & P`(a`=`0 vert b`=`0) ~=~{p`P} over {p`P ``+`` (1`-`p)`Q} ## & P`(a`=`1 vert b`=`0) ~=~{(1`-`p)`Q} over {p`P ``+`` (1`-`p)`Q} ## & P`(a`=`0 vert b`=`1) ~=~{p`Q} over {p`Q ``+`` (1`-`p)`P} ## & P`(a`=`1 vert b`=`1) ~=~{(1`-`p)`P} over {p`Q ``+`` (1`-`p)`P}]	(8-26)

이제, 앞 절에서 정보채널에 대하여 살펴본 것과 같이, □BSC□의 몇 가지 특별한 경우를 검토해 보기로 하자.

첫째, 무잡음 채널(noiseless channel)인 경우, 채널확률들은 P=1 및 Q=0 이므로 식(8-26)의 후향 조건확률들은

[eqn: & P`(a`=`0 vert b`=`0) ~=``` P`(a`=`1 vert b`=`1) ~=~ 1 ## & P`(a`=`1 vert b`=`0) ~=``` P`(a`=`0 vert b`=`1) ~=~ 0]	(8-27)

와 같이 계산된다. 이는 정확히 전송될 확률이 1 이고, 오류가 발생될 확률이 0 임을 표시함으로 채널은 아무런 오류도 발생시키지 않는 이상적인 것임을 뜻한다.

둘째, 채널이 잡음에 의하여 완전히 지배를 받는 경우, 즉 무한잡음 채널(all-noise channel)이라면, 채널확률들은 P=Q=1/2 로 주어지므로 식(8-26)의 후향 조건확률들은

[eqn: & P`(a`=`0 vert b`=`0) ~=``` P`(a`=`0 vert b`=`1) ~=~ p ## & P`(a`=`1 vert b`=`0) ~=``` P`(a`=`1 vert b`=`1) ~=~ 1`-`p]	(8-28)

와 같이 계산된다. 따라서 이 때에는 수신심볼이 무엇이든 상관없이 원래의 선험적 확률을 그대로 나타내게 된다. 이러한 사실은 수신측이 채널로부터 획득한 심볼이 송신심볼의 추정에 아무런 도움이 되지 못함을 말해준다.

셋째, 송신심볼의 발생확률이 균일분포를 갖는 경우, 즉 균일입력(uniform input)에 대해서는 선험적 확률이 p=q=1/2 와 같이 나타나므로, 이에 대한 후향 조건확률들은

[eqn: & P`(a`=`0 vert b`=`0) ~=``` P`(a`=`1 vert b`=`1) ~=~ P ## & P`(a`=`1 vert b`=`0) ~=``` P`(a`=`0 vert b`=`1) ~=~ Q]	(8-29)

와 같이 계산된다. 이것은 송신측의 선험적 확률이 각 심볼에 대하여 동일하기 때문에, 수신측의 추정은 오직 채널확률에만 의존됨을 나타낸다.

[예제 3] 이진대칭채널의 채널확률이 [eqn: P`=`0.87, ~Q`=`0.13]으로 주어지고, 송신심볼의 발생확률이 [eqn: Pr \{a`=`0 \} ``=`` p ``=`` 0.4 , ~ Pr \{a`=`1 \} ``=`` q ``=`` 0.6]으로 인가된다고 할 때

(1) 채널관계식에 의하여 수신심볼의 확률분포를 구하라.

(2) 후향 조건확률들을 구하고, MLD 규칙을 이용하여 각 수신심볼에 대한 송신심볼을 추정하라.

[풀이]

(1) 수신심볼의 발생확률은 식(8-25)를 이용하여

[eqn: & Pr \{b`=`0 \} ~=`` p`P ``+`` q`Q ~=~ 0.426 # & Pr \{b`=`1 \} ~=`` p`Q ``+`` q`P ~=~ 0.574]

와 같이 계산된다. 따라서 그 확률분포는 다음과 같이 표시된다.

[eqn: P_B ~=`` [0.426, ~0.574]]

(2) 후향 조건확률들은 식(8-26)에 의하여 다음과 계산된다.

[eqn: & P`(a`=`0 vert b`=`0) ~=~ {p`P} over {Pr \{b`=`0 \}} ~simeq~ 0.8169 # & P`(a`=`1 vert b`=`0) ~=~ {q`Q} over {Pr \{b`=`0 \}} ~simeq~ 0.1831 # & P`(a`=`0 vert b`=`1) ~=~ {p`Q} over {Pr \{b`=`1 \}} ~simeq~ 0.0906 # & P`(a`=`1 vert b`=`1) ~=~ {q`P} over {Pr \{b`=`1 \}} ~simeq~ 0.9094]

따라서 MLD 규칙에 의하면, 수신심볼이[eqn: b=0]인 경우 송신심볼은[eqn: a=0]으로, 수신심볼이[eqn: b=1]인 경우 송신심볼은[eqn: a=1]로 각각 추정된다.

[예제 4] 이진채널의 채널확률이 각각

[eqn: P_0,0 `=`0.83, ~~P_0,1 `=`0.17, ~~P_1,0 `=`0.21, ~~P_1,1 `=`0.79]

로 주어지고, 송신심볼은 각각 다음과 같은 확률로 인가된다고 할 때

[eqn: Pr \{a`=`0 \} ~=`` p ~=`` 0.54 , ~~ Pr \{a`=`1 \} ~=`` q ~=`` 0.46]

(1) 채널관계식에 의하여 수신심볼의 확률분포를 구하라.

(2) 후향 조건확률들을 구하고, MLD 규칙을 이용하여 각 수신심볼에 대한 송신심볼을 추정하라.

[풀이]

(1) 대칭채널이 아니므로 원래의 식(8-8)로 돌아가서

[eqn: & Pr \{b`=`0 \} ``=`` P`(b`=`0 vert a`=`0)`` P`(a`=`0 ) ``+`` P`(b`=`0 vert a`=`1)`` P`(a`=`1 ) # &~~~~~~``~~~~=`` 0.83 cdot 0.54 ``+``` 0.21 cdot 0.46 ~=``` 0.5448 ## & Pr \{b`=`1 \} ``=`` P`(b`=`1 vert a`=`0)`` P` (a`=`0 ) ``+`` P`(b`=`1 vert a`=`1)`` P `(a`=`1 ) # &~~~~~~~~``~~=`` 0.17 cdot 0.54 ``+``` 0.79 cdot 0.46 ~=``` 0.4552]

와 같이 계산된다. 따라서 수신심볼의 확률분포는 다음과 같이 표시된다.

[eqn: P_B ~=`` [0.5448, ~0.4552]]

(2) 후향 조건확률도 원래의 식(8-15)로 돌아가서 다음과 같이 계산된다.

따라서 MLD 규칙에 의하면, 수신심볼이[eqn: b=0]인 경우 송신심볼은[eqn: a=0]으로, 수신심볼이[eqn: b=1]인 경우 송신심볼은[eqn: a=1]로 각각 추정된다.

[eqn: & P`(a=0 vert b=0) ~=~ {P`(b=0 vert a=0) ``P` (a=0 ) } over {Pr \{b=0 \}} ~simeq~ 0.8227 # & P`(a=1 vert b=0) ~=~ {P`(b=0 vert a=1) ``P` (a=1 ) } over {Pr \{b=0 \}} ~simeq~ 0.1773 # & P`(a=0 vert b=1) ~=~ {P`(b=1 vert a=0) ``P` (a=0 ) } over {Pr \{b=1 \}} ~simeq~ 0.2017 # & P`(a=1 vert b=1) ~=~ {P`(b=1 vert a=1) `P` (a=1 ) } over {Pr \{b=1 \}} ~simeq~ 0.7983]

[예제 5] □BSC□의 천이행렬이 다음과 같이 주어졌다.

[eqn: T ~=~ bmatrix{9 over 10 ~~& 1 over 10 ## 1 over 10 ~~& 9 over 10 }]

또한 송신심볼은 각각 다음과 같은 확률로 인가된다고 가정한다.

[eqn: Pr \{a`=`0 \} ~=`` p ~=` 19 over 20 , ~~ Pr \{a`=`1 \} ~=`` q ~=` 1 over 20]

(1) 채널관계식에 의하여 수신심볼의 확률분포를 구하라.

(2) 후향 조건확률들을 구하고, MLD 규칙을 이용하여 각 수신심볼에 대한 송신심볼을 추정하라.

[풀이]

(1) 수신심볼의 발생확률은 식(8-25)를 이용하여

[eqn: & Pr \{b`=`0 \} ~=`` p`P ``+`` q`Q ~=~ 172 / 200 # & Pr \{b`=`1 \} ~=`` p`Q ``+`` q`P ~=~ 28 / 200]

와 같이 계산된다. 따라서 그 확률분포는 다음과 같이 표시된다.

[eqn: P_B ~=`` left[ 172 over 200 ``, ~28 over 200 right]]

(2) 후향 조건확률들은 식(8-26)에 의하여 다음과 계산된다.

MLD 규칙에 의하면, 수신심볼이[eqn: b=0]인 경우 송신심볼은[eqn: a=0]이 선택되었음을 거의 확신할 수 있다. 그러나 수신심볼이[eqn: b=1]인 경우에는 위에 계산된 후향 조건확률에 따라 송신심볼은[eqn: a=0]으로 추정될 것이다. 따라서 이 시스템은 수신심볼에 상관없이 송신심볼을 [eqn: a=0]으로 추정하게 된다.

[eqn: & P`(a`=`0 vert b`=`0) ~=~ {p`P} over {Pr \{b`=`0 \}} ~=~ 171 over 172 ## & P`(a`=`1 vert b`=`0) ~=~ {q`Q} over {Pr \{b`=`0 \}} ~=~ 1 over 172 ## & P`(a`=`0 vert b`=`1) ~=~ {p`Q} over {Pr \{b`=`1 \}} ~=~`` 19 over 28 ## & P`(a`=`1 vert b`=`1) ~=~ {q`P} over {Pr \{b`=`1 \}} ~=~`` 9 over 28]

이것은 송신심볼의 선험적 확률이 [eqn: a=0] 쪽으로 매우 치우쳐 있다는 데 기인하는 것이며, 이러한 경우에는 MLD 규칙이 송신심볼의 추정에 적당하지 않음을 말해준다.    이 책에서 상세히 다루지는 않겠으나, 일반적으로 수신측에 적용하는 결정규칙은 채널의 여러 가지 환경에 따라 설정되는데, 이 예제에 주어진 환경도 MLD 규칙에 의해서는 제대로 추정될 수 없는 경우에 해당된다.

.  앞 절의 각주 3을 참조하라.

8-4  신호시스템의 Entropy

제6장에서 우리는 정보소스(information source)의 Entropy를 정의하여 소스의 구조를 평가하는 방법을 제시하였으며, 제7장에서는 Entorpy에 의하여 일반적인 소스코딩의 한계가 주어짐을 입증한 바 있다.

이 절에서는 신호시스템(그림 2-3)의 채널을 중심으로, 채널의 입력이 되는 송신알파벳과 채널의 출력이 되는 수신알파벳, 그리고 그들이 채널에 의하여 변환되는 상호관계를 고찰하기 위하여 여러 가지 개념의 시스템 Entropy들을 정의하고자 한다. 이들은 다음 절에서 채널의 상호정보를 정의하는 기반이 되며, 제9장과 제10장에서 채널용량과 신호시스템의 한계를 분석할 때 매우 유용하게 사용될 것이다.

앞의 제8-2절에서와 마찬가지로, 채널의 입력이 되는 송신알파벳은

[eqn: A ~=`` \{`a_1 ,` a_2 ,` cdots,` a_q \}]	(8-30)

로 정의되며, 이에 대한 Entropy는 식(6-18)에 의하여

[eqn: H_r (A) ~=`` sum_i=1^q ``p(a_i ) ``log_r ` 1 over {p(a_i )}]	(8-31)

와 같이 표현된다. 이를 송신(Tx.) Entropy라 한다.

이는 채널의 입력으로 인가되는 각 심볼의 평균 정보량을 나타내며, 다음과 같은 기본적 성질을 가진다. (제6장의 정리 3 참조)

1. Hr(A) □ 0 (최소값 0은 송신알파벳의 각 심볼 중 하나의 확률만이 □1□이고 나머지 심볼들의 확률은 모두 □0□인 경우에 주어진다.)

2. Hr(A) □ logrq (최대값 logrq는 송신알파벳의 모든 심볼들이 동일한 발생확률 1/q을 갖는 경우에 나타난다.)

한편, 채널의 출력이 되는 수신알파벳은

[eqn: B ~=`` \{`b_1 ,` b_2 ,` cdots,` b_s \}]	(8-32)

로 정의되며, 이에 대한 Entropy는

[eqn: H_r (B) ~=`` sum_j=1^s ``p(b_j ) ``log_r ` 1 over {p(b_j )}]	(8-33)

와 같이 표현된다. 이를 수신(Rx.) Entropy라 한다.

이는 채널의 출력으로부터 얻어지는 각 심볼의 평균 정보량을 나타내며, 다음과 같은 기본적 성질을 가진다. (제6장의 정리 3 참조)

1. Hr(B) □ 0 (최소값 0은 수신알파벳의 각 심볼 중 하나의 확률만이 □1□이고 나머지 심볼들의 확률은 모두 □0□인 경우에 주어진다.)

2. Hr(B) □ logrq (최대값 logrq는 수신알파벳의 모든 심볼들이 동일한 확률 1/s을 갖는 경우에 나타난다.)

이제, 채널의 입·출력을 상호 관련지어 주는 조건 Entropy를 정의하여 보자. 조건 Entropy는 명백히 두 가지로 정의되어야 할 것이다. 그 하나는 송신심볼을 조건으로 하는 수신심볼의 Entropy, 즉 전향조건 Entropy(forward conditional Entropy)이며, 다른 하나는 수신심볼을 조건으로 하는 송신심볼의 Entropy, 즉 후향조건 Entropy (backward conditional Entropy)이다. 이들의 명칭은 제1장에서 정의한 두 가지 조건확률의 명칭을 그대로 적용한 것인데, 신호시스템에 있어서 이 두 가지 Entropy의 개념은 크게 달라진다.

먼저, 송신측의 심볼 ai가전송되었다는 조건 하에서 수신알파벳이 가지는 평균 정보량, 즉 하나의 송신심볼 ai에 대한 전향조건 Entropy는 다음과 같이 정의된다.

[eqn: H_r (B vert a_i ) ~=`` sum_j=1^s `P (b_j vert a_i ) ``log_r ``1 over {P(b_j vert a_i )}]	(8-34)

우리는 이 Entropy를 모든 송신심볼 ai (i Ａ 1, 2, □, q)에 대하여 평균을 취함으로써, 다음과 같이 신호시스템의 전향조건 Entropy를 정의한다.

[eqn: H_r (B vert A) &=`` sum_i=1^q ``p(a_i ) ``H_r (B vert a_i ) ## &=`` sum_i=1^q sum_j=1^s `P(a_i ,`b_j ) ``log_r ``1 over {P (b_j vert a_i`)}]	(8-35)

전향조건 Entropy는 송신알파벳을 조건으로 하여 수신알파벳의 평균 정보량을 산출하는 도구로서 채널의 특성을 나타내 주고있다.

다음으로, 하나의 수신심볼 bj를 수신하였다는 조건 하에서 송신알파벳이 갖는 평균 정보량, 즉 하나의 수신심볼 bj에 대한 후향조건 Entropy는 다음과 같이 정의된다.

[eqn: H_r (A vert b_j ) ~=``sum_i=1^q `P (a_i vert b_j ) ``log_r ``1 over {p(a_i vert b_j )}]	(8-36)

이 Entropy를 모든 수신심볼 bj (j Ａ 1, 2, □, s)에 대하여 평균을 취함으로써, 다음과 같이 신호시스템의 후향조건 Entropy를 정의한다.

[eqn: H_r (A vert B ) &=`` sum_j=1^s ``p(b_j )``H_r (A vert b_j ) ## &=``sum_i=1^q sum_j=1^s`P`(a_i ,`b_j ) ``log_r `` 1 over {P(a_i vert b_j`)}]	(8-37)

후향조건 Entropy는 수신알파벳을 조건으로 하여 송신알파벳의 평균 정보량을 산출하는 도구이다. 이것은 채널을 통하여 전송을 끝내고 난 후, 즉 수신측에서 수신심볼을 수신한 다음에 그것을 조건으로 송신측에서 측정된 평균 정보량을 뜻한다. 따라서 전송이 이루어지는 순서와 반대로 측정되며, 정보가 채널을 통과한 후 송신측에 남아있는 정보량을 의미함으로 이를 후험적(a posteriori) Entropy라고 부르기도 한다.

이러한 후험적 Entropy의 개념은 선험적 확률에 의한 송신 Entropy(8-31)의 개념과 함께, 뒤에서 채널용량을 정의할 때 매우 중요한 역할을 하게된다.

이제, 채널을 중심으로 그 입력과 출력을 상호 관련지어 보자. 우리는 하나의 송신심볼과 하나의 수신심볼이 나타나는 결합사건(joint event: 제1-4절 참조)을 생각할 수 있고, 그 결합사건의 발생확률을 측정할 수 있으며, 이에 따르는 정보의 양을 정의할 수 있다. 이러한 개별적인 정보의 양을 모든 송·수신 심볼에 대하여 산출하고, 이를 평균함으로써 다음과 같이 결합(joint) Entropy를 정의할 수 있다.

[eqn: H_r (A,``B) ~=`` sum_i=1^q sum_j=1^s `P(a_i ,``b_j ) ``log_r `` 1 over {P(a_i ,``b_j )}]	(8-38)

결합 Entropy는 채널에 의하여 송신심볼과 수신심볼이 관련되는 정도를 측정하는 도구로 사용된다. 또한 이 결합 Entropy와 앞에서 정의한 송·수신 Entropy 및 조건 Entropy 등을 관련지어 채널의 특성에 관한 여러 가지 사실들을 도출할 수 있다.

먼저, 송신알파벳 A와 수신알파벳 B가 모든 i, j에 대하여 통계적 독립(statistically independent)인 경우, 결합 Entropy는 제1장의 식(1-21)에 의하여

[eqn: H_r (A,``B`) &=``sum_i=1^q sum_j=1^s ``p(a_i )``p(b_j )``left{ log_r`1 over {p(a_i )} ``／`` log_r`1 over {p(b_j )} right } ## &=``sum_i=1^q ``p(a_i )`` log_r `1 over {p(a_i )} ``+`` sum_j=1^s ``p(b_j ) ``log_r `{p(b_j )} ## &= ~ H_r (A) ``+`` H_r (B)]	(8-39)

와 같이 주어진다. 이는 모든 수신심볼이 송신심볼에 대하여 독립임을 의미하므로, 전송된 심볼과 수신된 심볼이 무관하다는 것이다. 다시 말해서 주어진 정보채널은 무한잡음 채널(all-noise channel)이며, 실용적인 채널에서는 절대로 일어날 수 없는 경우라 할 것이다. 또한, 만일 이러한 채널이 존재한다면, 그 전송오류가 너무 커서 실용적으로 사용될 수 없을 것이다.

일반적인 정보채널에 있어서 수신심볼은 언제나 송신심볼에 종속되어 발생된다. 즉, 채널의 출력은 그 입력에 의하여 반드시 영향을 받는다. 따라서 이 때에는 식(8-38)의 결합확률이 Bayes 규칙에 따라

[eqn: P(a_i ,``b_j )~=~ p`(a_i`)`P(b_j vert a_i )]	(8-40)

로 주어진다. 그러므로 결합 Entropy(Joint entropy)는

[eqn: H_r (A, ``B`) &=`` sum_i=1^q sum_j=1^s `P(a_i ,``b_j ) ``log_r `` 1 over {p(a_i )} ## &~~+``sum_i=1^q sum_j=1^s `P(a_i ,``b_j ) ``log_r `1 over {P(b_j vert a_i )}]	(8-41)

와 같이 표시된다. 이 식의 두 번째 항은 식(8-35)로 주어진 전향조건 Entropy이며, 첫 번째 항에 대해서는

[eqn: sum_j=1^s`P(a_i ,``b_j ) ~=`` p`(a_i`)`, ~for ~\all ~i]	(8-42)

와 같은 관계식을 적용하여 다음과 같이 표시된다.

[eqn: H_r (A,``B) ~=``` H_r (A) ``+`` H_r (B vert A)]	(8-43)

즉, 결합 Entropy는 송신 Entropy와 전향조건 Entropy의 합으로 나타난다.

여기서 전향조건 Entropy Hr(B | A)는 채널의 입력을 조건으로 채널의 출력에 대한 평균 정보량을 표시함으로 채널을 통과하면서 손실된 정보의 양(information loss)을 나타낸다. 따라서 식(8-43)에 의하면, 전향조건 Entropy는 결합 Entropy를 얻기 위하여 원래의 송신 Entropy에 추가되어야 할 평균 정보량이라고 볼 수 있다. 이러한 의미에서 식(8-43)의 전향조건 Entropy와 다음에 논의될 후향조건 Entropy를 □Equivocation□ 혹은 채널의 잡음(noise) Entropy라 부르기도 한다.

식(8-40)은 Bayes 규칙의 대칭성에 의하여 다음과 같이 표시될 수도 있다.

[eqn: P(a_i ,``b_j )~=~ p`(b_j`)`P(a_i vert b_j )]	(8-44)

이를 식(8-38)에 대입하여 정리하면, 다음과 같이 결합 Entropy에 대한 또 하나의 관계식을 유도할 수 있다.

[eqn: H_r (A,``B) ~=`` H_r (B) ``+`` H_r (A vert B)]	(8-45)

주지하는 바와 같이, 이 식은 위에서 유도한 식(8-43)과 대칭적인 관계를 가진다. 따라서 송신측과 수신측을 교환하여 위의 사실들을 정리하여도 아무런 무리가 없음을 알 수 있다.

8-5  상호정보

그림 8-1에 주어진 정보채널 모델을 좀 더 상세히 검토하여 보자. 채널의 입력인 송신심볼은 ai (i Ａ 1, 2, □, q)로, 채널의 출력인 수신심볼은 bj (j Ａ 1, 2, □, s)로 표시되고, 채널은 조건확률 Pi,j (i Ａ 1, 2, □, q, j Ａ 1, 2, □, s)에 의하여 정의된다.

채널을 통과하기 전, 송신심볼 ai에 대한 확률은 p(ai)로 표시되며 이를 선험적 확률(a priori probability)이라 부른다. 또한 채널을 통과한 후, 수신심볼 bj가 주어진 조건 하에서 송신심볼 ai에 대한 조건확률은 P(ai|bj)로 표시되며, 이를 송신심볼 ai의 후험적 확률(a posteriori probability )이라 부른다.

이제, 이 두가지 확률에 의한 정보의 양을 측정하여 보자. 선험적 확률 p(ai)에 의한 정보의 양은

[eqn: I \{p(a_i ) \} ~=`` log_r ``1 over {p(a_i )}]	(8-46)

와 같이 주어지며, 이는 송신심볼이 전송되기 전에 원래 가지고 있던 정보의 양이다.

한편, 후험적 확률 P(ai|bj)에 의한 정보의 양은

[eqn: I `\{P(a_i vert b_j ) \}~=`` log_r ``1 over {P(a_i vert b_j ) }]	(8-47)

로 표시되며, 이는 송신심볼이 전송되어 수신측에서 심볼 bj를 수신한 후, 이것을 조건으로 송신심볼 ai가 가지고 있는 정보의 양이다.

그러므로 이 두가지 정보량의 차(difference)는 □채널을 통하여 전송된 정보의 양□이라고 볼 수 있다. 이를 채널의 상호정보(mutual information)라 정의하며 다음과 같이 표시한다.

[eqn: I `(a_i ``;`` b_j ) &=~ I `\{p(a_i ) \} ``-`` I `\{P(a_i vert b_j ) \} ## &=`` log_r` 1 over {p(a_i`)} ``-`` log_r` 1 over {P (a_i vert b_j )}## &=`` log_r` {P(a_i vert b_j )} over {p(a_i )}]	(8-48)

이와 같이 정의된 채널의 상호정보는 다음과 같은 기본적 성질을 갖는다.

1. 상호정보는 송신심볼 ai와 수신심볼 bj의 대칭성에 의하여 다음과 같이 표현되는 교환법칙을 만족한다.

[eqn: I `(a_i ```;`` b_j )~=~ I `(b_j ```;`` a_i )`, for~ \all ~ i, ``j]	(8-49)

<증명> 식(8-48)의 정의에 의하여

[eqn: I`(a_i ```;`` b_j ) ~=~ log_r`` {P(a_i vert b_j )} over {p(a_i )} ~=~ log_r ``{P(a_i `,``b_j )} over {p(a_i ) ``p(b_j ) }]

[eqn: I`(b_j ```;`` a_i ) ~=~ log_r`` {P(b_j vert a_i )} over {p(b_j )} ~=~ log_r ``{P(a_i `,``b_j )} over {p(a_i ) ``p(b_j ) }]

와 같이 나타나므로 위의 식(8-49)는 성립한다.	■

2. 상호정보는 송신심볼의 정보량를 초과하지 못한다. 즉,

[eqn: I`(a_i ```;`` b_j ) ~<=~ I `\{ p(a_i ) \}]	(8-50)

<증명> 식(8-50)의 좌변에서 우변을 빼면

[eqn: I` (a_i ```;`` b_j ) ``-`` I` \{p(a_i ) \} ~=~ -`` log_r `` 1 over {P(a_i vert b_j )} ~<=~ 0]

로 나타난다. 따라서 식(8-50)은 성립한다.	■

3. 무한잡음 채널에 대한 상호정보는 송신심볼 ai와 수신심볼 bj가 서로 독립이며, 이 때의 상호정보는 0 이다.

<증명> 식(8-39)에 설명된 바와 같이, 무한잡음 채널(all-noise channel)은 송신심볼에 관계없이 수신심볼이 발생하고, 임의의 수신심볼이 발생했더라도 이로부터 송신심볼을 전혀 추정할 수 없다. 따라서 송신심볼과 수신심볼은 서로 독립이며, 이 때 후향 조건확률은

[eqn: P(a_i vert b_j )~=~p(a_i )]

로 주어진다. 따라서 식(8-48)의 상호정보는

[eqn: I`(a_i``;``b_j`)``Ａ``0]

이다.	■

식(8-48)은 하나의 송신심볼과 하나의 수신심볼에 대하여 정의된 상호정보이다. 일반적으로 채널에는 필연적으로 잡음이 존재하고 그 잡음은 랜덤신호로 주어지므로, 채널의 특성은 단지 확률론적으로 분석할 수밖에 없다. 따라서 식(8-48)에 주어진 상호정보를 각 알파벳의 발생확률에 따라 평균을 구하여 검토하고자 한다.

우선, 전향 조건확률에 의한 평균을 구하면

[eqn: I`(A``;`` b_j ) &=`` sum_i=1^q ` P`(a_i vert b_j ) `` I`(a_i ```;`` b_j ) ## &=`` sum_i=1^q ` P`(a_i vert b_j ) `` log_r`` {P`(a_i ,``b_j`)} OVER {p(a_i ) ``p(b_j )}]	(8-51)

와 같이 표시되며, 이를 전향조건 상호정보(forward conditional mutual information)라 한다. 이는 하나의 심볼 bj를 수신했다는 조건 하에서 채널을 통하여 전송된 평균 정보량을 나타낸다.

또한, 후향 조건확률에 의한 평균을 구하면

[eqn: I`(a_i ```;`` B) &=`` sum_j=1^s `P(b_j vert a_i ) ``I` (a_i ```;`` b_j ) ## &=``sum_j=1^s ` P`(b_j vert a_i ) ``log_r`{P` (a_i ,`` b_j )} OVER {p(a_i )``p(b_j )}]	(8-52)

와 같이 표시되며, 이를 후향조건 상호정보(backward conditional mutual information)라 한다. 이는 하나의 송신심볼 ai가 인가되었다는 조건 하에서 채널을 통하여 전송된 평균 정보량을 나타낸다.

식(8-51)과 식(8-52)로 표현된 두가지 조건 상호정보는 수신 혹은 송신측에서 하나의 심볼을 조건으로 삼고 있다. 따라서 이들 조건 상호정보를 그 조건이 되는 심볼 전체에 대하여 평균을 구하면, 그림 8-1의 정보채널을 표현하는 상호정보의 정의로 사용할 수 있을 것이다.

식(8-51)에 주어진 전향조건 상호정보를 모든 수신심볼 bj (j Ａ 1, 2, □, s)에 대하여 평균을 취하면

[eqn: I`(A``;``B`) &=`` sum_j=1^s` p(b_j `) ``I`(A ``;`` b_j ) ## &=`` sum_i=1^q sum_j=1^s ` P`(a_i ,`` b_j ) ``log_r `{P`(a_i ,``b_j )} OVER {p(a_i )`` p(b_j )}]	(8-53)

와 같이 표현된다.

또한, 식(8-52)에 주어진 후향조건 상호정보를 모든 송신심볼 ai (i Ａ 1, 2, □, q)로에 대하여 평균을 취하면, 위의 식(8-53)과 동일한 결과를 얻는다. 즉

[eqn: I`(A``;``B`) &=`` sum_i=1^q` p(a_i `) ``I`(a_i ```;`` B ) ## &=`` sum_i=1^q sum_j=1^s ` P`(a_i ,`` b_j ) ``log_r `{P`(a_i ,``b_j )} OVER {p(a_i )`` p(b_j )}]	(8-54)

와 같이 표현된다.

식(8-53) 혹은 식(8-54)로 유도된 평균을 주어진 정보채널의 시스템 상호정보(system mutual information)라 한다. 이는 그림 8-1에 도시된 정보채널을 통하여 전송된 평균 정보량을 나타낸다.

시스템 상호정보는 제9장과 제10장에서 채널에 관한 여러 가지 개념들을 취급할 때 매우 유용하게 사용될 것이다. 다음에 시스템 상호정보에 관한 몇가지 기본적인 성질들을 정리해 둔다.

1. 시스템 상호정보는 언제나 0 보다 크거나 같다. 즉,

[eqn: I` (A ``;`` B ) ~>=~ 0]	(8-55)

이 때, 등식은 송신알파벳과 수신알파벳이 서로 독립인 경우, 즉 무한잡음 채널(all-niose channel)에 대하여 성립한다.

<증명> 식(8-53) 혹은 식(8-54)에 제6장의 식(6-55)로 주어지는 Gibbs 부등식을 적용하면

[eqn: sum_i=1^q sum_j=1^s ` P`(a_i ,`` b_j ) ``log_r ``{p(a_i )`` p(b_j )} over {P`(a_i ,``b_j )} ~<=~ 0]

와 같이 나타난다. 따라서 시스템 상호정보는

[eqn: I`(A ``;`` B) &=`` sum_i=1^q sum_j=1^s ` P`(a_i ,`` b_j ) ``log_r `` {P`(a_i ,``b_j )} over {p(a_i )`` p(b_j )} ## &=``- sum_i=1^q sum_j=1^s ` P`(a_i ,`` b_j ) ``log_r ``{p(a_i )`` p(b_j )} over {P`(a_i ,``b_j )} ~>=~ 0]

로 되어 식(8-55)는 만족한다. 여기서 등식은

[eqn: P`(a_i ,``b_j ) ~=~p(a_i )`p(b_j )`, ~for~ \all ~i,``j]

인 경우, 즉 송신심볼과 수신심볼이 서로 독립일 때 만족한다. 위에서 우리는 이러한 채널을 무한잡음 채널이라고 정의하였다.  ■

2. 시스템 상호정보는 다음과 같이 표시되는 교환법칙을 만족한다.

[eqn: I` (A ``;`` B ) ~=~ I` (B ``;`` A )]	(8-56)

<증명> 식(8-53) 혹은 식(8-54)은 그 대칭성에 의하여 송신심볼과 수신심볼의 역할을 서로 교환하더라도 만족한다. 따라서 시스템 상호정보는

[eqn: I`(A``;``B`) &=`` sum_i=1^q sum_j=1^s ` P`(a_i ,`` b_j ) ``log_r `{P`(a_i ,``b_j )} OVER {p(a_i )`` p(b_j )} ## &=`` sum_j=1^s sum_i=1^q ` P`(b_j ,`` a_i ) ``log_r `{P`(b_j ,``a_i )} OVER {p(b_j )`` p(a_i )} ## &=~ I` (B ``;`` A )]

와 같이 표현될 수 있다. 즉, 식(8-56)은 만족한다.             ■

3. 시스템 상호정보와 송·수신 Entropy, 결합 Entropy, 조건 Entropy 사이에 다음과 같은 관계가 성립된다.

[eqn: I` (A ``;`` B) &=`` H_r (A) ``+`` H_r (B) ``-`` H_r (A,`B) ## &=`` H_r (A) ``-`` H_r (A vert B) ## &=`` H_r (B) ``-`` H_r (B vert A)]	(8-57)

<증명> 로그함수의 성질을 이용하여 식(8-53)은 다음과 같이 쓸 수 있다.

[eqn: I`(A ``;`` B ) &=` sum_i=1^q sum_j=1^s P`(a_i , `b_j ) `log_r ` {P`(a_i , `b_j )} over {p(a_i ) `p(b_j )} ## &=` sum_i=1^q sum_j=1^s P`(a_i , `b_j ) `left {log_r ` 1 over {p(a_i )} `+`` log_r `1 over {p(b_j )} ## &~~~~~~~~~~~~~~~~~~~ -` log_r `1 over {P`(a_i ,` b_j )} right}]

여기에 다음과 같은 두가지 관계식을 적용하면

[eqn: sum_j=1^s `P`(a_i ,` b_j ) ~=`` p(a_i ) ``, ~ sum_i=1^q `P`(a_i ,` b_j ) ~=`` p(b_j )]

시스템 상호정보는

[eqn: I` (A ``;`` B) ~=~ H_r (A) ``+`` H_r (B) ``-`` H_r (A,` B)]

와 같이 표시됨으로 식(8-57)의 첫 번째 등식은 성립한다.

또한 결합 Entropy와 조건 Entropy의 관계 식(8-43) 및 식(8-45)를 적용하면 식(8-57)의 두 번째 등식과 세 번째 등식도 만족함을 알 수 있다.	■

특별히 식(8-57)의 두 번째 등식은 우리에게 매우 중요한 의미를 던져준다. 즉, 시스템 상호정보는 송신알파벳이 원래 가지고 있던 평균 정보량과 정보가 채널을 통과한 후 송신알파벳에 남아있는 평균 정보량의 차로 표현되는데, 이것은 결국 채널을 통하여 전송된 평균 정보량을 나타낸다. 이 개념은 뒤에서 채널용량을 정의할 때 핵심적인 역할을 하게된다.

또한, 식(8-55)를 식(8-57)에 적용하고 모든 Entropy는 음수가 될 수 없다는 사실을 이용하면, 우리는 다음과 같이 유용한 부등식들을 얻을 수 있다.

[eqn: & 0 ~<=~ H_r `(A vert B) ~<=~ H_r (A) ## & 0 ~<=~ H_r` (B vert A) ~<=~ H_r (B) ## & H_r (A,`B`) ~<=~ H_r (A) ``+`` H_r (B)]	(8-58)

이들 중 첫 번째, 두 번째 부등식은 선험적 Entropy가 조건 Entropy 보다 크거나 같음을 나타내며, 마지막 부등식은 결합 Entropy가 송·수신 Entropy를 더한 것보다 작거나 같음을 보여준다. 따라서 결합 Entropy는 송·수신 알파벳이 서로 독립일 때, 즉 식(8-39)가 성립하는 무한잡음 채널에 대하여 최대값을 갖는다.

식(8-57)을 조건 Entropy(equivocation)에 대하여 표시하면

[eqn: H_r (A vert B) ~=``` H_r (A) ``-`` I`(A ``;`` B) ## H_r (B vert A) ~=``` H_r (B) ``-`` I`(A ``;`` B)]	(8-59)

와 같이 나타난다. 이들의 의미는 위에서 논의된 시스템 상호정보의 개념에 비추어 명백하다. 즉, 정보가 채널을 통과한 후 송신측에 남아있는 평균 정보량은 원래 가지고 있던 평균 정보량(송신 Entropy)에서 채널을 통하여 전송된 평균 정보량(시스템 상호정보)를 뺀 것과 같다. 또한, 정보채널의 대칭성에 의하여 송신측과 수신측을 서로 교환하여도 동일한 관계로 설명할 수 있다.

또한 식(8-57)을 결합 Entropy에 대하여 표시하면

[eqn: H_r (A,` B) &=~ H_r (A) ``+`` H_r (B) ``-`` I`(A,`B) ## &=~ H_r (A) ``+`` H_r (B vert A) ## &=~ H_r (B) ``+`` H_r (A vert B)]	(8-60)

와 같이 나타난다.

만일, 송신알파벳과 수신알파벳이 서로 독립이면, 시스템 상호정보는 □0□이 되고, 결합 Entropy는 송신 Entropy와 수신 Entropy의 합으로 나타나며, 각각의 조건 Entropy들은 해당되는 선험적 Entropy로 주어진다. 여기에서도 우리는 그림 8-1의 정보채널이 송·수신측에 대하여 대칭성을 가지고 있음을 다시 한 번 확인할 수 있다.

연 습 문 제

8.1	채널 상에서 발생되는 잡음(noise)과 디지탈 정보에 대한 오류(error)의 관계를 설명하고, 오류를 제어하기 위한 채널코딩에 대하여 논하라.

8.2	정보채널의 송·수신 알파벳과 그 천이행렬이 다음과 같이 주어졌다.

[eqn: &A~=`` \{a_1 ,` a_2 ,` a_3 ,` a_4 \} ``, ~~ B~=`` \{b_1 ,` b_2 ,` b_3 ,` b_4 \} ## &~~~~~~~ T~=~ bmatrix{ ``0.6 &`` 0.3 &`` 0.1 &`` 0.1`` ## ``0.2 & 0.5 & 0.2 & 0.1`` ## ``0.1 & 0.3 & 0.5 & 0.1`` ## ``0.2 & 0.1 & 0.1 & 0.6 ``}]

또한 송신심볼의 확률분포가 [eqn: P_A ~=~ bmatrix{0.7~~0.2~~0.05~~0.05 ``}]로 주어진다고 가정할 때,

(a) 수신심볼의 확률분포 PB를구하라.

(b) 수신측에서 심볼 □b3□를 수신한 경우, 후향 조건확률들을 구하고, MLD 규칙에 의하여 송신심볼을 추정하라.

(c) 수신측에서 심볼 □b4□를 수신한 경우, 위 (2)번의 과정을 반복하라.

(d) 주어진 채널의 수신측에서 송신심볼을 추정할 때, 위에서와 같이 MLD 규칙을 적용하는 것이 적절한지 밝혀라.

8.3	이진채널(binary channel)의 채널확률이 각각

[eqn: &P_{0`,`0} ``=``` 0.85,~ P_{0`,`1}``=```0.15 # &P_{1`,`1} ``=``` 0.65,~ P_{1`,`0}``=```0.35]

로 주어진다고 가정하고, 송신심볼의 발생확률이

[eqn: Pr \{a`=`0 \} ``=``0.7 ,~ Pr \{a`=`1 \} ``=``0.3]

일 때,

(a) 주어진 이진채널의 천이행렬 T를 구하라.

(b) 채널관계식을 이용하여 수신심볼의 발생확률 Pr{b Ａ 0} 및 Pr{b Ａ 1}을 구하라.

(c) 네가지 후향 조건확률들을 구하고, MLD 규칙에 의하여 송신심볼을 추정하라.

(d) 무잡음 채널(noiseless channel)과 무한잡음 채널(all-noise channel)에 대한 채널확률을 구하고, 위에 주어진 송신심볼의 발생확률을 이용하여 수신심볼의 발생확률을 구하라. 또한, 이 때의 후향 조건확률들을 구하여 MLD 규칙에 의한 추정을 수행하라. 무엇이 달라지는가?

8.4	이진대칭채널(BSC)에 있어서, 하나의 심볼이 오류없이 전송될 확률을 PＡ4/5 라 하고, 오류가 발생될 확률을 QＡ1/5 이라 가정하자. 또한, 송신심볼의 발생확률이 Pr{aＡ0} Ａ 4/7, Pr{aＡ1} Ａ 3/7 이라 할 때,

(a) 후향 조건확률들을 계산하라.

(b) MLD 규칙을 이용하여, 송신심볼 bＡ0 및 bＡ1에 대한 송신심볼을 추정하라.

(c) 주어진 채널의 수신측에서 송신심볼을 추정할 때, MLD 규칙을 적용하는 것은 적절한가 설명하라.

8.5*	□BSC□의 채널확률이 각각 P, Q로 주어지고, 송신심볼의 발생확률이 각각 p, q로 주어진다. 여기서 Q=1-P, q=1-p 이다. 송신알파벳을 A, 수신알파벳을 B 라 할 때,

(a) 시스템 상호정보 [eqn: I` (A ``;`` B)]를 위에 주어진 확률들로 나타내어라.

(b) 2-심볼 소스(제6장 참조)의 Entropy를 다음과 같이 정의할 때,

[eqn: Omega`(z) ~==~ z``` log_2`` 1 over z ``+`` (1`-`z)``log_2`` 1 over {1`-`z}]

위에서 구한 시스템 상호정보는

[eqn: I`(A ``;`` B) ~=~ Omega`(pP ``+`` q`Q ) ``-`` Omega`(P)]

로 표시됨을 보여라.

(c) 주어진 □BSC□의 시스템 상호정보는 송신심볼이 균일분포(uniform distribution)를 가질 때 최대값을 가지며, 그 최대값은 다음과 같이 주어짐을 보여라.

[eqn: I_max `(A ``;`` B) ~=~ 1 ``-`` Omega`(P)]

8.6*	이진채널(non-symmetric)의 채널확률이 각각

[eqn: &P_{0`,`0} ``=``1`-`alpha `,~ P_{0`,`1} ``=``alpha # &P_{1`,`1} ``=``1`-`beta `,~ P_{1`,`0} ``=`` beta]

로 주어지고, 송신심볼의 발생확률이 각각 p, q로 주어진다. 여기서 q=1-p 이다. 송신알파벳을 A, 수신알파벳을 B 라 할 때,

(a) 시스템 상호정보 [eqn: I` (A ``;`` B)]를 위에 주어진 확률들로 나타내어라.

(b) 2-심볼 소스(제6장 참조)의 Entropy를 다음과 같이 정의할 때,

[eqn: Omega`(z) ~==~ z``` log_2`` 1 over z ``+`` (1`-`z)``log_2`` 1 over {1`-`z}]

위에서 구한 시스템 상호정보는

[eqn: I`(A ``;`` B) ~=~ Omega \{beta ``+`` (1`-`alpha`-`beta)`p \} ``-`` p`Omega`(alpha) ``-`` q` Omega`(beta)]

로 표시됨을 보여라.

8.7	이진채널의 천이행렬이 다음과 같이 주어졌다.

[eqn: T ``=`` bmatrix {2/3 &~ 1/3``## 1/10 &~ 9/10` }]

또한, 송신측에서 □0□이 인가될 확률은 1/3 이고, □1□이 인가될 확률은 2/3 이다.

(a) 수신측에서 □0□과 □1□을 수신할 확률은 각각 얼마인가?

(b) 송신 Entropy [eqn: H_2 `(A)] 및 후향조건 Entropy [eqn: H_2` (A vert B)]를 구하라.

(c) 시스템 상호정보 [eqn: I` (A ``;`` B)]를 계산하라.

(d) 후향 조건확률들을 구하고, MLD 규칙에 의하여 송신심볼을 추정하라.

8.8	이진채널의 천이행렬과 송신심볼의 발생확률이 각각 다음과 같이 주어질 때, 위 문제 8.6의 과정을 반복하라.

(a) [eqn: &T_1 ``Ａ`` bmatrix {1/2 &~ 1/2` ## 1/3 &~ 2/3` } ### &~ p`=`0.7, ~q`=`0.3]	(b) [eqn: &T_2 ``Ａ`` bmatrix {2/3 &~ 1/3` ## 1/3 &~ 2/3` } ### &~ p`=`0.4,~ q`=`0.6]

(c) [eqn: &T_3 ``Ａ`` bmatrix {9/10 &~ 1/10 ## 1/10 &~ 9/10` }### &~ p`=`0.8 ,~ q`=`0.2]	(d) [eqn: &T_4 ``Ａ`` bmatrix {1/2 &~ 1/2 ## 1/2 &~ 1/2`` }### &~ p`=`0.5,~ q`=`0.5]

8.9*	(Channel cascading)

다음 그림과 같이 두 개의 채널이 직렬로 연결되어 있다.

A		B		C

송신알파벳을 A, 첫번째 채널의 출력에서 나타나는 알파벳을 B, 최종 출력에서 나타나는 알파벳을 C 라 할 때, 조건 Entropy와 시스템 상호정보의 관계가

[eqn: &H`(A vert C) ~>=~ H`(A vert B)## & I`(A ``;`` B) ~>=~ I`(A ``;`` C)]

와 같이 주어짐을 보여라.

(※ Hint : 먼저, 직렬로 연결된 두 채널에 대하여

[eqn: P`(c_k vert b_j ,` a_i )~=~ P`(c_k vert b_j ),~ for ~\all ~i,``j,``k]

가 성립함을 보이고, 여기에 Bayes 규칙을 적용하여

[eqn: P`(a_i vert b_j ,`c_k ) ~=~ P`(a_i vert b_j ), ~for ~\all ~ i,``j,``k]

임을 증명하여 보라.)

8.10*	연속적 랜덤변수[eqn: boldX]의 함수값이 구간 {１M ＠[eqn: boldX] ＠M} 내에 한정된다고 가정할 때, 최대의 Entropy를 나타내는 것은 랜덤변수[eqn: boldX]가 구간 (１M, M) 내에서 균일하게 분포되고(uniformly distributed), 주어진 구간의 외부에서는 0 밀도를 갖는 경우임을 보여라. 또한, 이 때 나타나는 최대의 Entropy는 log 2M으로 계산됨을 보여라.

8.11*	(Binary erasure channel)

송신알파벳과 수신알파벳이 각각 다음과 같이 주어졌다.

[eqn: A~=`` \{`0,``1 \}``,~~ B~=`` \{`0,``1,``E \}]

여기서 수신심볼[eqn: E]는 수신측에서 정정할 수 없는 오류가 발생하였을 때 나타나는 □erasing□ 심볼을 표시한다. 채널확률들이 각각 다음과 같이 주어질 때,

[eqn: & P`(0 vert 0 ) ``=`` 1 ``-`` alpha , &~ P`(E vert 0) ``=`` alpha , &~ P`(1 vert 0) ``=`` 0 ## & P`(0 vert 1 ) ``=`` 0 , &~ P`(E vert 1) ``=`` alpha , &~ P`(1 vert 1) ``=`` 1``-`` alpha]

(a) 송신알파벳이 균일분포를 가질 때, 시스템 상호정보를 계산하라.

(b) 송신심볼의 발생확률이 각각 0.8, 0.2로 주어질 때, 시스템 상호정보를 계산하라.

(c) 그림 8-2와 같은 형태로 채널의 입출력 관계를 그려라.