제 9 장

채널용량

9-1  채널용량의 정의

채널용량(channel capacity)이라함은 그 채널을 통하여 전달할 수 있는 최대의 정보량을 말한다. 따라서 하나의 채널이 설정되면, 채널용량은 그 채널의 특성에 따라 일정한 값으로 주어져, 그 채널을 통하여 전송되는 정보량의 한계를 나타낸다.

	정보이론

제 9 장 채널용량

그림 8-1에 도시된 정보채널은 다음과 같은 전향 조건확률(혹은 채널확률)

[eqn: P_{i`,`j} ~=~ P`(b_j vert a_i )`,~ for ~i`=`1,`2,`cdots,`q ,~ j`=`1,`2,`cdots,`s]	(9-1)

에 의하여 그 채널의 특성을 완전하게 표현하고 있다. 그러므로 정보채널의 용량은 전송된 송신알파벳과 식(9-1)에 주어진 채널확률에 의하여 산출될 수 있다.

이와 같은 채널용량의 개념을 만족스럽게 표현할 수 있는 정보량은 우리가 제8-5절에서 정의한 상호정보(mutual information)이다. 주지하는 바와 같이, 상호정보는 채널의 입·출력을 표시하는 송·수신 알파벳을 서로 관련지어 채널에 의한 정보량의 변화를 표현하는 데 매우 유용하므로, 위에 언급된 채널용량의 개념을 설명하는 기반으로 사용될 수 있을 것이다.

제8-5절에서 유도된 상호정보에 대한 여러 가지 관계식들 중에서 채널용량의 개념과 가장 밀접한 관계를 갖는 것은 식(8-57)의 두 번째 등식으로 다음과 같이 표현된다.

[eqn: I`(A ``;`` B) ``=`` H`(A) ``-`` H`(A vert B)]	(9-2)

여기서 □Radix□를 표시하는 첨자를 생략한 것은 이들이 모든 radix에 대하여 성립하기 때문이며, 앞으로 특별한 경우를 제외하고는 이러한 첨자는 생략하기로 한다.

식(9-2)에서 시스템 상호정보는 송신 Entropy와 후향조건 Entropy의 차로 표현되어 있다. 여기서 송신 Entropy H(A)는 채널을 통과하기 전(a priori), 원래의 송신알파벳이 가지고 있는 정보의 양을 표시하므로 □선험적 정보량□이다. 한편, 후향조건 Entropy H(A|B)는 정보가 채널을 통과하여 수신측에서 알파벳 B를 수신한 후(a posteriori), 이를 조건으로 하여 측정된 송신측의 정보량을 표시하므로 □후험적 정보량□이라 할 수 있다. 그렇다면 상호정보 I(A;B)는 채널에 의하여 변화된 송신측의 정보량, 즉 채널을 통하여 전송된 정보의 양이라 할 수 있을 것이다. 따라서 채널용량은 시스템 상호정보의 최대치로 정의할 수 있다.

이제, 이러한 시스템 상호정보의 확률적 관계를 표시하는 식(8-53)을 다음과 같이 변경하여 검토하여 보자.

[eqn: I`(A ``;`` B) &=`` sum_i=1^q sum_j=1^s `P`(a_i ,``b_j ) ``log `{P`(a_i ,``b_j )} OVER {p(a_i ) ``p(b_j )} ## &=``sum_i=1^q sum_j=1^s `P`(b_j vert a_i )``p(a_i ) ``log `{P`(b_j vert a_i )} OVER {p(b_j )}]	(9-3)

앞에서 언급한 바와 같이, 하나의 채널이 주어지면 그 특성을 표시하는 채널확률들은 고정된다. 즉, 식(9-3)에서 채널확률 P(bj□ai)는 주어진 채널에 대하여 고정된 값이라는 것이다. 또한, 수신심볼의 발생확률 p(bj)는 채널관계식 (8-8)에 의하여 채널확률과 송신심볼의 발생확률에 의하여 산출되는 값이다. 따라서 식(9-3)의 시스템 상호정보는 오직 송신심볼의 발생확률 p(ai)의 함수임을 알 수 있다.

이와 같은 논리에 의하여, 채널용량(channle capacity)은 다음과 같이 정의된다.

[eqn: C ~```==``{max} atop {p(a_i )} ``I`(A``;``B`)]	(9-4)

결국, 채널용량은 송신알파벳의 확률분포 p(ai)(i=1,2,□,q)의 선택에 의한 시스템 상호정보의 최대값으로 정의된다.

일반적인 채널에 대하여 시스템 상호정보를 최대로 하는 송신심볼의 확률분포는 그리 간단하게 얻어지지 않는다. 따라서 채널용량의 산출과정을 일반화하는 것은 매우 어려운 문제이나, 식(9-4)의 정의는 채널용량을 오직 채널확률만의 함수로 산출되게 함으로써 주어진 채널의 전송한계를 명백히 하고 있다는 점에서 유용하다고 하겠다. 더욱이 채널용량은 시스템 상호정보의 최대치로 정의되므로 채널용량을 초과하는 상호정보는 존재하지 않음을 확신할 수 있다.

여기서 정의된 채널용량은 그림 8-1의 정보채널을 기반으로 하는 이산적 채널(discrete channel)의 용량으로서 그 단위는 bpb(bits of information per bits sent)를 사용한다. 우리는 뒤에서 연속적 채널(continuous channel)에 대한 정보공학적 개념을 간단히 취급할 예정인데, 그 때 정의되는 연속적 채널의 용량은 bps(bits per second)를 단위로 한다.

이산적 채널용량은 디지탈 정보를 근간으로 하는 전송시스템과 일반적인 저장시스템의 한계를 설정하는데 유용하며, 연속적 채널용량은 아날로그 신호를 이용한 전송시스템의 한계를 설정하는데 쓰인다.

9-2  균일채널과 균일입력

이 절에서는 시스템 상호정보와 채널용량을 산출하는 하나의 예로서, 특별히 정의된 균일채널(uniform channel)에 균일입력(uniform input)이 인가되는 경우를 살펴보고자 한다.

먼저, 다음과 같이 균일채널을 정의한다.

<정의 : 균일채널(uniform channel)>

채널 천이행렬의 모든 행(row)이 첫 번째 행의 순열(permutation)로 이루어지는 채널을 균일채널이라 한다. 따라서 균일채널의 천이행렬은 임의의 행을 기준으로 그 행의 순열들로 다른 모든 행을 설정함으로써 얻을 수 있다. 즉, 다음과 같이 주어지는 천이행렬이 균일채널을 나타낸다면, 행렬 내의 모든 행은 임의의 행을 재배열(rearrangement)하여 얻어진다.

[eqn: T_U ~=~ bmatrix{P_{1`,`1} & P_{1`,`2} & cdots & P_{1`,`s} ## P_{2`,`1} & P_{2`,`2} & cdots & P_{2`,`s} ## vdots & vdots && vdots ## P_{q`,`1} & P_{q`,`2} & cdots & P_{q`,`s}`` }]	(9-5)

식(8-23)에 주어진 □BSC□의 천이행렬은 위의 정의에 나타난 조건을 그대로 만족한다. 따라서 □BSC□는 균일채널의 일종이라 할 수 있으며, 균일채널은 □BSC□의 개념을 확장한 것이라 할 수 있다.

제3장에서 논의하였던 오류검출코드나 오류정정코드로 이루어진 정보가 채널을 통과한다고 할 때, 코드 내의 모든 □bit□ 들은, 그것이 정보이든 패리티이든 상관없이 동일하게 취급된다. 따라서 코드 내의 모든 위치에 대한 오류확률은 모두 동일하다고 보아야 할 것이다. 또한, 대다수의 전송시스템이 표준적인 채널로 수용하고 있는 백색잡음 채널(white-noise channel)에 있어서는 코드 내의 모든 심볼이 독립적으로 동일한 오류확률을 갖게되므로 그 천이행렬의 모든 행은 첫번째 행의 순열로 주어질 것이 틀림없다. 이러한 의미에서 위에 정의된 균일채널은 일반적인 채널을 근사화하는 모델로 무리없이 사용될 수 있다고 하겠다.

균일채널에 대한 시스템 상호정보는 식(8-57)의 세 번째 등식을 이용하여 매우 간단하게 표현할 수 있다. 식(8-57)의 세 번째 등식을 다시 쓰면

[eqn: I`(A``;``B) ~=``` H`(B) ``-`` H`(B vert A)]	(9-6)

와 같이 나타나고, 이 식의 우변에 식(8-35)에 주어진 전향조건 Entropy를 대입하면 다음과 같이 표현할 수 있다.

[eqn: I`(A``;``B) &=``` H`(B) ``-`` sum_i=1^q sum_j=1^s `P`(a_i ,`b_j ) ``log` 1 OVER {P`(b_j vert a_i )} ## &=``` H`(B`) ``-`` sum_i=1^q` p(a_i ) ``sum_j=1^s `P`(b_j vert a_i ) ``log` 1 OVER {P`(b_j vert a_i )}]	(9-7)

여기서 천이행렬의 각 행이 그 첫 번째 행의 순열로 주어진다는 균일채널의 조건을 도입하면, 식(9-7)의 우변에서

[eqn: W ~``==``` sum_j=1^s `P`(b_j vert `a_i ) ``log ` 1 OVER {P`(b_j vert a_i )}]	(9-8)

은 모든 행에 대하여 일정한 값으로 주어지는 상수이다. 다시 말해서, 식(9-8)은 송신측에서 어떠한 심볼이 인가되더라도 일정한 값을 갖는다는 것이다.

그러므로 균일채널의 시스템 상호정보는 다음과 같이 간단한 식으로 표현된다.

[eqn: I`(A``;``B ) ~=``` H`(B) ``-`` W]	(9-9)

만일, 주어진 균일채널이 무잡음(noiseless) 조건을 만족한다면, 하나의 송신심볼에 대하여 하나의 채널확률만이 □1□이고, 나머지 다른 채널확률들은 모두 □0□이 된다. 즉, 천이행렬의 임의 행에 대하여

[eqn: P`(b_j vert a_i ) &=`` cases {``1 ` ,~ for~ \one~ b_j ## ``0 `, ~ for~ \others }# & # &~~~~~for ~\any ~ a_i]	(9-10)

을 만족하므로, 식(9-8)에 주어진 값은

[eqn: W~``=`` sum_j=1^s `P`(b_j vert a_i ) ``log` 1 over {P`(b_j vert a_i )} ~=~ 0]	(9-11)

이 된다. 따라서 무잡음 균일채널의 시스템 상호정보는

[eqn: I`(A``;``B ) ~=``` H`(B) ~=``` H`(A)]	(9-12)

와 같이 나타난다. 이는 우리가 예상했던 바, 완전채널(perfect channel)을 의미한다. 다시 말해서, 송신알파벳이 원래 가지고 있던 정보량(송신 Entropy)이 채널을 통하여 전송된 정보량(시스템 상호정보)과 일치하며, 이러한 사실은 송·수신측을 서로 교환하여도 채널의 대칭성에 의하여 그대로 설명할 수 있다는 것이다.

이제, 관점을 채널의 입력인 송신심볼로 옮겨, 앞에서 정의하였던 균일채널에 균일입력(uniform input)이 인가되는 경우를 검토하여 보자. 여기서 균일입력이라 함은 각 송신심볼의 발생확률이 모두 동일한 경우를 말한다. 또한, 이러한 균일입력에 제3장에서 소개하였던 n-bit 단일오류 검출코드를 적용하였다고 가정한다.

우선, 채널은 균일채널이라 가정하였으므로 식(9-9)를 만족한다.

또한, 각 송신심볼들은 (n-1) bits의 정보와 1 bit의 패리티를 가지므로, 송신알파벳 내의 심볼 수는

[eqn: q ~=~ 2^{n`-`1}]	(9-13)

이며, 수신알파벳 내의 심볼 수는

[eqn: s ~=~ 2^n]	(9-14)

으로 주어진다.

하나의 이진수(bit)가 채널을 통하여 정확히 전송될 확률을 P 라 하고, 하나의 이진수에 대하여 오류를 발생시킬 확률을 Q 라 하면, 주어진 균일채널의 천이행렬은 다음과 같이 표시된다.

[eqn: T_U ~=~ bmatrix{ P &~~ Q`` ## Q &~~ P`` }]	(9-15)

물론, 여기서도  Q = 1-P 이다.

이러한 채널을 통하여, n-bit로 이루어진 하나의 심볼이 전송될 때 나타날 수 있는 모든 경우에 대하여 그 발생확률을 구해보면 다음 표와 같다.

오류 bit의 수	경우의 수	발생확률
0	[eqn: binom n 0]	[eqn: P^n]
1	[eqn: binom n 1]	[eqn: P^{n`-`1}`Q]
2	[eqn: binom n 2]	[eqn: P^{n`-`2}`Q^2]
□	□	□
n	[eqn: binom n n]	[eqn: Q^n]

따라서 이 채널에 대한 식(9-8)의 값은 다음과 같이 나타낼 수 있다.

[eqn: W &``=``` sum_j=1^{2^n} `P`(b_j vert `a_i ) ``log_2 ` 1 OVER {P`(b_j vert a_i )} ## &``=``` sum_k=0^n `binom n k P^{n`-`k} ``Q^k ```log_2` 1 over {P^{n`-`k} ``Q^k }]	(9-16)

여기서 채널확률들을 위 표에 주어진 발생확률로 표시할 수 있는 것은 송신심볼의 발생확률이 모두 동일하다는 균일입력 조건을 적용하였기 때문이다.

식(9-16)은 로그함수의 규칙을 이용하여

[eqn: W ~``=``` sum_k=0^n `binom n k P^{n`-`k} ``Q^k ```left{log_2` 1 over {P^{n`-`k}} ``+`` log_2 ` 1 over Q^k } right}]	(9-17)

와 같이 쓸 수 있으므로 두 개의 항으로 나누어 계산할 수 있다.

먼저, 첫번째 항은

[eqn: & sum_k=0^n ``{n`!} over {k`! ``(n`-`k)`!}``P^{n`-`k}``Q^k cdot (n`-`k)``log_2` 1 over P ## &~~~=`` log_2` 1 over P ``sum_k=0^n-1 {n`!} over {k`!``(n-k-1)`!}` ``P^n-k`` Q^k ## &~~~=`` n`P ``log_2` 1 over P]	(9-18)

와 같이 계산되고, 마찬가지 방법으로 두번째 항을 계산하면

[eqn: n``Q``log_2`1 over Q]	(9-19)

를 얻는다.

식(9-18)과 식(9-19)를 합하여 정리하면

[eqn: W~=``n``LEFT(P`` log_2` 1 over P ``+`` Q`` log_2 `1 over Q RIGHT)]	(9-20)

와 같은 결과를 얻는다. 여기서 2-심볼 소스의 Entropy(제6장 참조)를 다음과 같이 정의하면,

[eqn: Omega_2 `(z) ~==~ z``log_2` 1 over z ``+`` (1`-`z)`` log_2 `1 over {1`-`z}]	(9-21)

식(9-20)은 다음과 같이 표현할 수 있다.

[eqn: W ~=~ n``Omega_2` (P)]	(9-22)

따라서 이 시스템의 상호정보는 식(9-9)로부터

[eqn: I`(A``;``B) ~=``` H_2 `(B) ``-`` n`` Omega_2 (P)]	(9-23)

와 같이 주어진다. 결국, 소스의 n-차 확장(제7-3절 참조)에 대한 Entropy는 원래 알파벳의 Entropy의 n 배라는 사실이 다시 한 번 입증되었다.

9-3  이진 대칭채널(BSC)의 용량

우리는 제8-3절에서 이진대칭채널(BSC)의 채널확률을 부여하고, 그 채널관계식 및 후향 조건확률들을 유도하여 MLD 규칙을 이용한 송신심볼의 추정을 수행한 바 있다. 이진대칭채널은 그림 8-2에 도시된 이진채널에서 채널확률들이 대칭성을 갖도록 설정된 균일채널의 일종으로 그 천이행렬은 다음과 같이 주어진다.

[eqn: T ~=~ bmatrix { P &~~ Q``## Q &~~ P``}]	(9-24)

이 절에서는 이러한 □BSC□에 대하여 시스템 상호정보와 채널용량을 산출하여, 일반적인 이진 디지탈 전송시스템의 성능한계를 고찰하고자 한다.

먼저, 송신심볼의 발생확률을 각각

[eqn: Pr \{`a`=`0 \} ~=``` p ``,~~Pr \{`a`=`1 \} ~=```q ~=``` 1 ``-`` p]	(9-25)

라 두고, 시스템 상호정보를 산출해 보기로 한다.

앞에서 언급한 바와 같이, □BSC□는 하나의 균일채널이므로 그 상호정보는 식(9-9)에서와 같이

[eqn: I`(A``;``B`) ``Ａ`` H_2 `(B`) ``-`` W``]	(9-26)

로 표시된다. 또한 식(9-8)을 이용하여

[eqn: W``&Ａ`` sum_j=1^2 `P`(b_j vert a_i ) ``log_2 ` 1 OVER {P`(b_j vert a_i )}## &Ａ`` P `` log_2` 1 over P ``+`` Q`` log_2 `1 over Q## &Ａ``` Omega_2`(P`)]	(9-27)

와 같이 계산된다. 여기서 마지막 등식은 식(9-21)의 정의에 따라 표현한 것이다.

식(9-27)을 식(9-26)에 대입하면, □BSC□의 상호정보는 다음과 같이 주어진다.

[eqn: I`(A``;``B ) ~Ａ~ H_2 `(B) ``-`` Omega_2`(P`)]	(9-28)

이제, H2(B)를 구하기 위하여 제8장의 식(8-25)를 이용하면

[eqn: & Pr \{ b`=`0 \} ``Ａ`` p`P ``+`` (1`-`p) `Q## & Pr \{ b`=`1 \} ``Ａ`` p`Q ``+`` (1`-`p)`P]	(9-29)

을 얻는다. 여기서 수신심볼에 관한 두 확률을 더하면

[eqn: Pr \{b`=`0 \} ``+`` Pr \{b`=`1 \} ~=~ 1]	(9-30)

이 됨은 명백하다.

계산의 편의를 위하여

[eqn: Pr \{ b`=`0 \} ~=`` p`P ``+`` (1`-`p)`Q ~=~ x]	(9-31)

라 두면

[eqn: Pr \{ b`=`1 \} ~=~ 1 ``-`` x]	(9-32)

가 되므로, 여기에 다시 식(9-21)의 정의를 이용하면 수신알파벳의 Entropy는

[eqn: H_2` (B) ~=~ x ``log_2` 1 over x ``+`` (1`-`x)`` log_2` 1 over {1`-`x} ~=~ Omega_2` (x)]	(9-33)

와 같이 표시된다.

식(9-33)을 식(9-28)에 대입하면, □BSC□의 시스템 상호정보는 다음과 같이 나타난다.

[eqn: I`(A``;``B ) ~=~ Omega_2` (x) ``-`` Omega_2` (P)]	(9-34)

식(9-34)의 첫 번째 항은 식(9-31)에서 보는 바와 같이 수신심볼의 발생확률에 대한 함수이므로, 결국 송신심볼의 발생확률에 의하여 변화되는 값이다. 그러나 그 두 번째 항은 채널확률에 대한 함수이므로 주어진 채널에 대하여 고정된 값이다. 따라서 주어진 □BSC□의 채널용량을 얻기 위해서는 식(9-33)을 최대로 하는 송신심볼의 발생확률 p를 선택하여야 할 것이다.

우리는 제6-4절에서 Entropy 함수의 성질을 논의할 때, 식(9-33)과 동일한 2-심볼 소스의 Entropy에 대하여 상세히 검토한 바 있다. 그림 6-3은 그 결과로 얻은 그래프이다. 이 그래프로부터 식(9-33)의 최대값은

[eqn: Omega_2` (x) right]_max ``=```1``,~ \when ~ x`=` 1 over 2]	(9-35)

와 같이 주어진다.

따라서 주어진 □BSC□의 채널용량은

[eqn: C~ Ａ``{max} atop {p} I`(A``;``B ) ~=~ 1 ``-`` Omega_2`(P) ~~(bpb)]	(9-36)

로 나타난다. 또한, 이 때 송신심볼의 발생확률 p를 얻기 위해서는 식(9-31)을 이용하여 다음과 같이 계산한다.

[eqn: x ~Ａ~ 1 over 2 &Ａ~p`P ``／`` (1`-`p)`Q ## &Ａ~ (2`P `-`1)`p ``-`` (P `-` 1)]	(9-37)

이 식을 구하고자 하는 확률 p에 대하여 풀면

[eqn: p``Ａ``1 OVER 2]	(9-38)

을 얻는다. 이는 우리가 예상했던 바, 균일입력을 나타내며, 이 때 □BSC□의 시스템 상호정보는 최대가 되어 채널용량을 형성하는 것이다.

또한, 식(9-33)의 대칭성을 이용하면, □BSC□의 채널용량은

[eqn: C ~Ａ`` 1 ``-`` Omega_2`(P ) ~Ａ`` 1 ``-`` Omega_2` (Q) ~~(bpb)]	(9-39)

와 같이 표시할 수 있다. 이 때 두 송신심볼은 동일한 발생확률로 인가된다.

9-4  채널용량과 조건상호정보의 관계

우리는 앞의 두 절을 통하여 채널용량에 관한 특별한 예, 즉 균일채널에 대하여 균일입력이 인가되는 경우와 이진대칭채널의 경우를 살펴보았다. 이제, 이러한 특별한 예를 벗어나 좀 더 일반적인 경우에 대한 채널용량을 논의하여 보자.

이 절에서는 채널용량의 산출을 필요로 하는 여러 가지 상황에서 매우 편리하게 적용될 수 있는 유용한 정리를 소개한다. 이 정리는 이른바 채널용량과 제8장에서 정의된 후향조건 상호정보 사이에 성립하는 관계로 설명될 수 있는데, 이들 두 함수의 관계를 정립함으로써 채널용량의 산출에 매우 편리한 방법을 제공하게 된다.

식(8-54)로 주어진 시스템 상호정보의 일반적 표현으로 돌아가서

[eqn: I`(A``;``B ) &=`` sum_i=1^q `p`(a_i ) ``sum_j=1^s `P`(b_j vert a_i ) ``log ` {P`(b_j vert a_i )} over {p`(b_j )} ## &=`` sum_i=1^q ` p`(a_i ) ``I`(a_i ``;``B )]	(9-40)

와 같이 표현하여 보자. 여기서 후향조건 상호정보는 식(8-52)로부터

[eqn: I`(a_i ``;`` B) ~=`` sum_j=1^s `P`(b_j vert a_i ) ``log ` {P`(b_j vert a_i )} over {p(b_j )}]	(9-41)

로 나타내었다. 이 식을 자세히 살펴보면, 후향조건 상호정보 I(ai ; B)는 송신심볼 ai에 의하여 결정됨을 알 수 있다. 왜냐하면 채널확률은 하나의 채널이 주어짐에 따라 고정되는 값이며, 이들을 모든 j에 대하여 합하면 결국 후향조건 상호정보는 송신심볼 ai의 함수로 나타날 것이기 때문이다.

이러한 성질을 기반으로, 일반적인 채널에 대하여 그 채널용량에 도달하는 송신심볼의 발생확률을 용이하게 유도할 수 있는 유용한 정리를 제시할 수 있다.

정리 1  <채널용량과 조건 상호정보>  □□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

송신심볼의 발생확률들이 시스템 상호정보를 채널용량 C에 도달하도록 선택되었다면, p(ai)□0인 모든 송신심볼 ai에 대한 후향조건 상호정보는 채널용량과 같다. 즉,

[eqn: I`(a_i ``;`` B) ~=~ C ``, ~ for ~\any~ i ,```\but~ p(a_i ) ``!=``0]	(9-42)

와 같은 관계식이 성립한다.

♠ 증명

이 정리에 대한 증명은 모순법으로 진행된다. 모순법이란 정리의 결과를 부정하여 그로부터 발생하는 모순을 찾아내므로써 정리의 결과를 부정할 수 없다는 결론에 도달하는 방법이다.

이 정리의 결과는 □0□이 아닌 발생확률을 갖는 모든 송신심볼에 대한 후향조건 상호정보가 채널용량과 갖다는 것이다. 이를 증명하기 위하여, 어떤 송신심볼 a1이 채널용량 보다 더 큰 후향조건 상호정보를 갖는다고 가정하여 보자. 다시 말해서 지정된 송신심볼이 채널용량을 초과하도록 작용하고 있다고 가정하여 정리의 결과를 부정하는 것이다.

식(9-40)에서 보는 바와 같이, 이러한 송신심볼들에 대한 후향조건 상호정보의 평균으로 주어지는 채널용량은 시스템 상호정보의 최대치이므로 결코 초과될 수 없다. 따라서 하나의 송신심볼에 대한 후향조건 상호정보가 채널용량을 초과한다면, 다른 송신심볼 중 하나는 반드시 채널용량 보다 작은 후향조건 상호정보를 가져야 한다.

이와 같은 두 송신심볼에 대한 후향조건 상호정보를 다음과 같이 표시할 수 있다.

[eqn: I`(a_1 ``;`` B ) ~Ｂ~ C ~~~\&~~~ I`(a_2 ``;`` B ) ~＠~ C]	(9-43)

만일, 이러한 상태에서 송신심볼 a1의 발생확률 p(a1)이 미소량 증가하고, 송신심볼 a2의 발생확률 p(a2)가 미소량 감소된다고 가정하여 보자. 이 때, 송신심볼 전체에 대한 발생확률의 합은 항상 □1□이 되어야 하므로 두 확률의 변화량은 동일하며, 이에 대한 시스템 상호정보의 변화율은 다음과 같이 주어진다.

[eqn: Delta` I` (A ``;`` B) ~==~{partial `I`(A ``;`` B) } OVER {PARTIAL` p`(a_1 ) } ``-`` {partial I`(A ``;`` B) } OVER {PARTIAL` p`(a_2 ) }]	(9-44)

식(9-40)에 주어진 시스템 상호정보를 이용하여 이 변화율을 계산하면 다음과 같다.

[eqn: Delta` I`(A ``;`` B) &= sum_j=1^s `left{P(b_j vert a_1 ) `log {P(b_j vert a_1 )} over {p(b_j )} `-` P(b_j vert a_2 )` log {P(b_j vert a_2 )} over {p(b_j )} right} # &~~+`` sum_i=1^q `p(a_i ) `sum_j=1^s left{P(b_j vert a_1 ) `-` P(b_j vert a_2 ) right} ## &=`` I`(a_1 ``;`` B) ``-`` I`(a_2 ``;`` B)]

(9-45)

여기서 p(bj)의 p(a1), p(a2)에 대한 변화율은 식(8-8)에 주어진 채널관계식을 이용하여 다음과 같이 계산되었다.

[eqn: {partial` p(b_j )} over {partial` p(a_1 )} ``=`` P`(b_j vert a_1 ) ,~ {partial` p(b_j )} over {partial` p(a_2 )} ``=`` P`(b_j vert a_2 )]	(9-46)

식(9-45)의 결과는 식(9-43)에 의하여 □0□ 보다 큰 양수이다. 지금 시스템 상호정보는 채널용량으로 작용하고 있으므로, 이는 채널용량의 순간 변화율이 양수라는 의미이다. 그러나 식(9-4)의 정의에 의하면 채널용량은 주어진 채널에 대하여 나타날 수 있는 최대값을 표시하므로 그 변화율이 양수가 된다는 것은 모순이다. 이러한 모순은 시스템 상호정보가 채널용량에 도달할 때, 임의의 송신심볼이 채널용량 보다 더 큰 후향조건 상호정보를 갖는다는 가정에 의하여 비롯되었다. 그러므로 □시스템 상호정보가 채널용량에 도달되도록 송신심볼의 발생확률이 선택된다면, □0□이 아닌 확률을 갖는 모든 송신심볼에 대한 후향조건 상호정보는 채널용량과 같다.□	■

이 정리는 어떤 송신알파벳이 채널용량을 만족하는 확률분포를 가질 때, 각 송신심볼의 발생확률 p(ai)를 산출하고자 하는 경우나, 주어진 임의의 발생확률을 이용하여 채널용량을 추정하고자 할 때 편리하게 사용된다.

9-5  연속적 소스와 채널

지금까지 우리는 주로 이산적 소스(discrete source)와 이산적 채널(discrete channel)을 취급하여 왔다. 그림 8-1의 정보채널도 이산적 채널에 대한 대표적 모델이며, 제6장과 제7장을 통하여 상세히 분석하였던 소스들도 대부분 이산적인 경우에 한정되었다.

그러나 실질적인 디지탈 통신시스템에 있어서 채널을 통과하는 신호는 고주파변조(high-frequency modulation)에 의하여 변환된 연속신호인 경우가 많으며, 수신측은 이러한 연속신호를 복조(demodulation)하여 원래의 디지탈신호로 환원하게 된다

.  우선, 제2장의 그림 2-3에 도시된 일반적인 신호시스템 모델을 참고하라. 변조기의 입력에 인가되는 신호는 주로 디지탈신호이나, 이를 고주파변조한 아날로그 신호가 채널에 인가되고, 수신측은 채널로부터 획득한 신호를 복조하여 원래의 디지탈신호로 환원하는 것이다.

여기서 디지탈신호의 고주파변조 및 복조에 관한 내용은 이 책의 범위를 넘어가므로 더 이상 자세히 취급하지는 않겠으나, 이에 대하여 흥미있는 독자를 위하여 다음과 같은 참고문헌을 소개한다.

A.B.Carlson, Communication Systems - an introduction to signals and noise in electrical communication, 3rd.ed., Ch.14, pp.512-558, 1986, McGraw-Hill.

따라서 이 절에서는 좀 더 실질적인 문제에 접근하기 위하여 연속적 소스(continuous source)와 연속적 채널(continuous channel)에 대한 정보공학적 개념을 단계별로 나누어 간단하게 취급하고자 한다.

이를 위하여 우선 연속신호를 발생시키는 소스의 정보량을 다루고, 이어서 연속신호를 전송하는 채널의 용량을 그 대역폭(bandwidth)과 신호대잡음비(SNR:signal-to-noise ratio)의 함수로 표현하여 이상적인 통신시스템의 중요한 특성으로 제공하고자 한다. 이와 같이 유도된 연속적 채널용량은 통신시스템을 비교하는 기준으로 사용될 뿐 아니라, 실질적인 통신시스템의 개선을 위한 설계지침으로서 정보공학 분야의 중요한 원리로 자리잡게 된다.

(1) 연속적 소스의 정보량

일반적으로 연속적 정보소스(continuous information source)는 연속랜덤신호(random signal)를 발생시킨다. 우리는 이러한 랜덤신호가 대역제한(bandlimited)되어, 그 신호의 표본들(samples)에 의하여 완벽하게 표현되는 신호라고 가정한다. (제2-3절에 설명된 표본화정리를 참조하라.)  연속 랜덤신호의 표본은 하나의 연속적 랜덤변수를 형성하므로, 이를[eqn: bold X]라 하고, 그 확률밀도함수를[eqn: p_boldX `(x)]라 하자.

.  랜덤신호(random signal)는 확률론적으로 하나의 □랜덤과정(stochastic process)□으로 평가되어야 한다. 제1장에서 우리는 랜덤변수에 대하여 비교적 상세히 공부한 바 있으나, 그 다음 단계인 랜덤과정은 취급하지 아니 하였다. 그 이유는 이 책 전체를 통하여 단지 이 절에서만 랜덤과정의 몇가지 개념이 사용되기 때문이다.

표본공간의 원소를 실수집합에 대응시키는 함수를 랜덤변수라 한다면, 소위 □랜덤과정□은 표본공간의 원소를 시간함수(waveform)의 집합에 대응시키는 함수라고 볼 수 있다. 여기서 각 원소에 대응되는 시간함수들을 □ensemble□(앙상블)이라 부른다.

랜덤과정에 대하여 좀 더 상세히 공부하고자 하는 독자는 다음 문헌을 참고하라.

P.Z.Peebles,Jr., Probability, Random Variables and Random Signal Principles, 2nd.ed., Ch.6 & 7, pp.142-204, 1987, McGraw-Hill.

우리는 이러한 표본들이 갖는 평균 정보의 양으로서 다음과 같이 연속 Entropy 함수를 정의한다.

[eqn: H`(bold X `) ~==~ int_-inf^inf p_boldX` (x) ```log_2` 1 over {p_boldX `(x)} ``dx]	(9-47)

이 식은 이산적 소스에 대한 Entropy 함수 식(6-19)에 대응하며, 로그함수의 밑수(base)에 따라 정보량의 단위도 (bits)로 정해진다.

그러나 식(9-47)의 Entropy 값은 식(6-18)과는 달리 상대적(relative) Entropy이다. 이를 식(6-18)과 같은 절대적(absolute) Entropy로 측정하기 위해서는 다음과 같이 극한(limiting) 개념을 도입하여야 한다.

연속적 랜덤변수[eqn: bold X]를 이산적 랜덤변수 [eqn: bold x_i ` ,```(i `=` 0,` ±1,`±2,` cdots)]로 근사화한다면, 그 확률관계는 식(1-63)에 의하여

[eqn: Pr \{x_i \} ~simeq~ p_boldX `(x_i ) ``Delta`x ``,~ i`=`0,`±1,`±2,` cdots]	(9-48)

와 같이 주어지므로, 식(6-18)에 의한 절대적 Entropy는 다음과 같이 표시된다.

[eqn: H_A `(boldX `) &=`` lim_{Delta`x ->0} `sum_i ```p_boldX `(x_i ) ``Delta`x ```log` 1 over {p_boldX`(x_i ) `` Delta`x } ## &=`` lim_{Delta`x ->0} `sum_i ``left{`p_boldX `(x_i )```log` 1 over {p_boldX`(x_i )} ``+`` p_boldX `(x_i )```log` 1 over {Delta`x } right}```Delta`x ## &=`` int_-inf^inf p_boldX`(x)`` log`1 over {p_boldX` (x)} ``dx ```+`` int_-inf^inf p_boldX`(x) ``dx`` lim_{Delta`x ->0}log` 1 over {Delta`x} ## &=`` H`(boldX `) ``+`` H_o (boldX `)]

(9-49)

여기서 우변의 첫 번째 항은 식(9-47)에 주어진 상대적 Entropy를 나타내며, 두 번째 항은 다음과 같이 정의되는 극한값이다.

[eqn: H_o (boldX `) ~==~ lim_{Delta`x -> 0}``log` 1 over {Delta`x }]	(9-50)

주지하는 바와 같이, 이 극한값은 무한대이므로 식(9-49)에 주어진 절대적 Entropy는 항상 무한대이다. 이것은 연속적 랜덤변수가 취할 수 있는 함수값이 무한히 많다는 사실에 의한 당연한 결과지만, 이 때문에 절대적 Entropy는 시스템의 비교에는 사용될 수 없고 단지 참조의 대상이 될 뿐이다. 그러므로 연속적 소스의 정보량을 측정하기 위해서는 식(9-47)에 주어진 상대적 Entropy를 사용하여야 한다.

상대적 Entropy는 주어진 소스의 확률밀도함수에 따라 양수, 0, 혹은 음수 등 어떠한 값으로도 산출될 수 있다. 다시 말해서 식(9-47)의 정의는 상대적 Entropy가 절대적인 한계(bound)를 갖지 않음을 나타내고 있다는 것이다. 그럼에도 불구하고, 우리가 이를 이용하여 소스의 정보량을 평가하기 위해서는 상대적 Entropy를 최대로 하는 확률밀도함수를 찾아내어야 하는 경우가 많다. 이 문제를 해결하기 위하여, 우리는 제4-7절에서 사용하였던 □Lagrange multiplier method□를 도입하여야 한다.

. 제4장의 각주 2를 보라. 제4장에서 도입하였던 소위 □Lagrange multiplier method□는 합(summation)으로 구성된 함수에 적용된 것이며, 여기서 도입하고자 하는 방법은 적분(Integral)으로 이루어진 함수에 적용된 것이다. 이에 대하여 좀 더 상세히 공부하고자 하는 독자는 다음 문헌을 참조하라.

J.B.Thomas, An Introduction to Statistical Communication Theory, App.F, 1969, John Wiley & Sons.

적분으로 주어진 다음과 같은 함수를 최대로 하는 확률분포[eqn: p`=`p_boldX `(x)]를 구해보자.

[eqn: I ~=`` int_a^b F`(x,``p)``dx]	(9-51)

여기서 피적분함수 [eqn: F`(x,``p)]는 변수[eqn: x]와 변수함수[eqn: p]의 함수이며, 변수함수[eqn: p]는 다음과 같은 조건방정식을 만족하는 함수집합이다.

[eqn: int_a^b F_k``(x,``p)``dx ~=``` c_k]	(9-52)

이 때, [eqn: c_k (k ``:` 정수)]를 조건상수(conditional constant)라 한다.

□Lagrange multiplier method□에 의하면, 식(9-51)에 주어진 적분이 최대값을 갖는 것은 변수함수 [eqn: p`=`p_boldX `(x)]가 다음과 같은 조건을 만족하는 경우이다.

[eqn: {partial F} over {partial p} ``+`` sum_k ``lambda_k ``{partial F_k} over {partial p} ~=~0 `, for~ \all ~k]	(9-53)

여기서 [eqn: lambda_k] 는 이른바 □Lagrange multiplier□로서, 방정식 (9-53)의 해를 식(9-52)로 주어진 조건방정식에 대입함으로써 얻어지는 값이다.

이제, 우리의 관심사인 상대적 Entropy 식(9-47)에 이 방법을 적용하여 보자. 이에 대한 적분과 피적분함수는

[eqn: I ~=` int_-inf^inf p_boldX` (x) ``log_2` 1 over {p_boldX `(x)} ``dx `,~~ F`(x,``p)~=~p``log_2` 1 over p]	(9-54)

와 같이 주어진다. 여기서[eqn: p`=`p_boldX `(x)]의 관계는 항상 유지된다.

일반적인 확률밀도함수는 항상 다음과 같은 기본적 성질을 만족하므로

[eqn: int_-inf^inf p_boldX` (x) ``dx ~=~ 1]	(9-55)

우리는 언제나 다음과 같은 하나의 조건방정식과 조건상수를 얻는다.

[eqn: F_1 `(x,``p) ~=~p ``,~~c_1 ~=~1]	(9-56)

우리의 목적인 □상대적 Entropy를 최대로 하는 확률밀도함수□를 얻기 위해서는, 식(9-56)에 주어진 하나의 조건만 가지고는 부족하며, 추가로 확률밀도함수 자체를 한정하는 또 하나의 조건이 필요하다. 이러한 추가 조건은 각각의 개별적인 소스를 규정하는 특별한 성질에 의하여 주어지게 된다.

이와 같은 개념을 좀 더 명확하게 하기 위하여, 발생되는 신호에 대한 특별한 조건이 부여된 두가지 소스에 대한 최대 Entropy와 그 때의 확률밀도함수를 구하는 예제를 제시하기로 한다.

[예제 1] (fixed power source)

다음과 같이 고정된 평균전력을 갖는 소스에 대하여

[eqn: P_\av ~==~ E \{boldX ^2 \} ~=`` int_-inf^inf `x^2 ``p_boldX (x) ``dx]	<1>

(1) 주어진 전력조건에 의한 조건방정식과 조건상수를 구하라.

(2) 이 소스의 최대 Entropy와 그 때의 확률밀도함수를 구하라.

(3) 최대 Entropy가 음수로 되는 경우에 대하여 고찰하라.

[풀이]

(1)  식(9-52)의 [eqn: k`=`2]에 대하여

[eqn: F_2` (x,``p) ~=`` x^2 ``p ``,~~ c_2 ~=``P_\av]

로 주어진다.

(2)  식(9-54)의 함수 [eqn: F`(x,``p)]와 식(9-56)에 주어진 조건방정식 [eqn: F_1`(x,``p)] 및 위 (1)번에서 구한 조건방정식 [eqn: F_2` (x,``p)]를 식(9-53)에 대입하면

[eqn: ln` p ~=~ {lambda_1 ``+`` lambda_2 ``x^2 } over {log_2` e} ``-``1]

를 얻는다. 따라서 확률밀도함수는 다음과 같이 표현된다.

[eqn: p_boldX`(x) ~=~ e^{lambda_1 ``+`` lambda_2`` x^2 }]	<2>

여기서 [eqn: (log_2`` e ),`` 1] 등은 상수이므로 파라미터 [eqn: lambda_1 `,``` lambda_2] 내에 포함시켰다.

이제, □Lagrange multiplier□ [eqn: lambda_1 `,``` lambda_2]를 얻기 위하여 식<2>를 식(9-55)와 식<1>에 대입하면, 다음과 같은 두 개의 관계식을 얻는다.

[eqn: & e^lambda_1 ``root {pi over {- lambda_2}} ~=~ 1 ## & e^lambda_1 over {2`` (-lambda_2 )^{3/2}}`` root pi ~=~ P_\av]

이들을 연립하여 풀면

[eqn: lambda_2 ~=~ -1 over {2``P_\av} ``,~~ e^{lambda_1} ~=~ 1 over {root {2pi`` P_\av }}]	<3>

와 같이 주어진다.

식<3>을 식<2>에 대입하면, 최대의 Entropy를 주는 확률밀도함수는 다음과 같이 유도된다.

[eqn: p_boldX`(x) ~=~ 1 over {root{2pi``sigma^2} }`e^{- x^2 `/``2` sigma^2 } ``,~`` sigma^2 ``=`` P_\av]	<4>

이는 제1장의 [예제 7]에서 다루었던 Gaussian 분포의 확률밀도함수이다.

또한, 주어진 소스의 최대 Entropy는 식<4>의 확률밀도함수를 식(9-47)에 대입함으로써 다음과 같이 계산된다.

[eqn: H_max `(boldX ) ~=~ 1 over 2 log_2 `{(2pi``e`` sigma^2 )}``, ~~sigma^2 ``=`` P_\av]	<5>

(3)  식<5>로부터 최대 Entropy가 음수로 되는 것은

[eqn: 2pi`e` sigma^2 ``=`` 2pi` e` P_\av ~＠~ 1]

이 성립하는 경우이다. 따라서 소스의 고정된 평균 전력이

[eqn: P_\av ~＠~ 1 over {2pi` e`} ``simeq`` 0.05855]	<6>

로 주어질 때, 최대의 Entropy는 0 보다 작아진다. 이것이 상대적 Entropy의 가장 특징적인 성질이며, 그렇다 하더라도 고정된 평균 전력을 갖는 소스의 최대 Entropy가 0-mean Gaussian 분포일 때 나타나며, 그 최대값이 식<5>와 같이 주어진다는 사실은 매우 중요한 결과이다. 물론, 소스의 특성이 바뀌면 이러한 결과도 달라질 것이다.

[예제 2] (fixed pead-value source)

다음과 같이 고정된 최대치를 갖는 소스를 고려하여 보자.

[eqn: -M ~<=~ boldX `(t)} ~<=~ M]	<1>

(1) 이 소스의 상대적 Entropy를 최대로 하는 확률밀도함수를 구하라.

(2) Entropy의 최대값을 구하라.

(3) 소스의 출력을 증폭하여

[eqn: boldZ `(t) ~=~ K`` boldX` (t)`, ~ K ``:``상수]

와 같은 새로운 소스를 만들었을 때, 이것의 최대 Entropy를 구하라.

[풀이]

(1)  이 소스를 위한 또 하나의 조건은 랜덤변수 [eqn: boldX]의 범위인 식<1>로 주어졌다. 그러므로 우리는 식(9-47), 식(9-52), 식(9-55)를 다음과 같이 변경하여야 한다.

[eqn: H` (boldX ) ~=```int_-M^M `p_boldX`(x) ``log_2` 1 over {p_boldX` (x)} ``dx]	<2>

[eqn: int_-M^M ` F_k` (x,``p) ``dx ~=`` c_k]	<3>

[eqn: int_-M^M `p_boldX` (x) ``dx ~=`` 1]	<4>

이제, 식(9-54)의 [eqn: F` (x,``p)]와 식(9-56)의 [eqn: F_1`(x,``p)]를 식(9-53)에 대입하면

[eqn: ln``p ~=~ lambda_1 over {log_2`` e } ``-`` 1]

을 얻는다. 따라서 구하는 확률밀도함수는 다음과 같이 주어진다.

[eqn: p_boldX` (x) ~=~ e^lambda_1]	<5>

여기에서도 [eqn: log_2``e ``,``1] 등은 상수이므로 파라미터 내에 포함시킨 것이다.

이제, 식<5>를 식<4>에 대입하면, 최대의 Entropy를 주는 확률밀도함수는 다음과 같이 유되된다.

[eqn: p_boldX` (x) ~=~ 1 over {2`M} `,~ -M ``<=`` x ``<=`` M]	<6>

결국, 최대의 Entropy는 균일분포(uniform distribution)에 의하여 주어짐을 알 수 있다. (제6장의 정리 3 참조)

(2) 식<6>의 식<2>에 대입하면, 다음과 같이 최대 Entropy를 얻는다.

[eqn: H_max `(boldX ) ~=~ int_-M^M` 1 over {2M}``log_2``` 2M ````dx ~=~ log_2 ```2M]	<7>

(3)  새로운 소스 [eqn: boldZ]의 Entropy를 최대로 하는 확률밀도함수는 위 (1)에서와 동일한 과정에 의하여

[eqn: p_boldZ` (z) ~=~ 1 over {2`KM} `,~ -KM ``<=`` z ``<=`` KM]	<8>

로 나타난다. 또한, 그 때의 최대 Entropy는 다음과 같이 계산된다.

[eqn: H_max `(boldZ ) ~=~ int_-KM^KM` 1 over {2KM}``log_2``` 2KM ````dz ~=~ log_2 ```2KM]	<9>

(2) 연속적 채널의 상호정보와 채널용량

이제, 논의의 초점을 채널로 옮겨 연속적 채널(continuous channel)을 고찰하여 보자. 연속적 채널은 그림 9-1에 도시된 바와 같이, 하나의 연속 랜덤과정(continuous random process)을 송신신호로 하고, 이 신호가 채널을 통과하는 동안 잡음의 영향을 받아 변환된 또 하나의 연속 랜덤과정을 수신신호로 하는 채널을 말한다.

송신신호와 수신신호는 모두 대역제한 신호로서 그들의 표본들에 의하여 완벽하게 표현될 수 있는 신호라고 가정한다. 위의 연속적 정보소스에서 설명한 바와 같이, 랜덤과정의 각 표본점에서는 랜덤변수가 주어지게 되고, 이러한 랜덤변수들에 대하여 연속적 채널은 그림 9-1과 같이 송신 랜덤변수를 조건으로 하는 수신 랜덤변수의 조건 확률밀도함수에 의하여 표현될 수 있다.

그림 9-1  연속적 정보채널 모델

송신 랜덤변수와 수신 랜덤변수를 상호 관련짓는 평균 상호정보(average mutual information)를 다음과 같이 정의한다.

[eqn: I`(boldX ``;`` boldY ) ~==`` int_-inf^inf int_-inf^inf `p_{boldX boldY}`(x,``y) ``log_2` {p_boldX` (x vert y )} over {p_boldX` (x) }`` dx``dy]	(9-57)

이 정의는 이산적 채널에 대한 시스템 상호정보인 식(8-53) 혹은 식(8-54)에 대응되며, 앞에서와 같이 □채널을 통하여 전송된 평균 정보량□을 나타낸다.

식(9-57)에 정의된 평균 상호정보와 여러 가지 Entropy 사이에 성립하는 관계는 이산적 채널에 대한 경우와 동일하게 주어진다. 즉,

[eqn: I` (boldX ``;`` boldY ) &=~ H`(boldX ) ``+`` H`(boldY ) ``-`` H`(boldX ,`boldY ) ## &=~ H`(boldX ) ``-`` H`(boldX vert boldY ) ## &=~ H`(boldY ) ``-`` H`(boldY vert boldX )]	(9-58)

이들은 제8장의 식(8-57)에 대응되며, 그림 9-1과 같이 채널의 조건 확률밀도함수가 주어진 상태에서는 세 번째 등식을 이용하는 것이 가장 편리하다. 여기서

[eqn: H`(boldY ) ~==`` int_-inf^inf `p_boldY`(y) ``log_2` 1 over {p_boldY` (y)} ``dy]	(9-59)

는 수신 Entropy이며,

[eqn: H`(boldY vert boldX ) ~==`` int_-inf^inf int_-inf^inf ` p_{boldX boldY} (x,``y)`` log_2` 1 over {p_boldY` (y vert x)} ``dx``dy]	(9-60)

는 채널의 특성을 표시하는 전향조건 Entropy이다. 또한, 이들은 각각 식(8-33)과 식(8-35)에 대응한다. 특히, 전향조건 Entropy는 그 개념 상 채널에 의하여 손실된 정보량을 표시하므로 잡음 Entropy라 부르기도 한다.

유도과정을 다소 간단하게 하기 위하여, 채널에 발생되는 잡음을 흔히 사용되는 □덧셈형 잡음(additive noise)□이라고 가정하여 보자. 즉, 수신신호는 송신신호와 잡음신호의 합으로 표시되어

[eqn: boldY`(t) ~=`` boldX`(t) ``+`` boldN`(t)]	(9-61)

와 같이 주어지게 된다. 이들 각각은 모두 랜덤과정이며, 그 표본점에서 랜덤변수를 생성하게 되며, 그 랜덤변수들의 확률밀도함수 사이에는 다음과 같은 관계가 성립한다.

[eqn: p_boldY`(y vert x )~=``` p_boldY`(x `+` n ) ~=`` p_boldN`(n) ~=`` p_boldN`(y`-`x)]	(9-62)

여기서 [eqn: p_boldN (n)]은 잡음 확률밀도함수(noise pdf)를 나타낸다.

결과적으로, 식(9-60)으로 주어진 잡음 Entropy는 잡음 확률밀도함수에 의하여 다음과 같이 표시된다.

[eqn: H`(boldY vert boldX )~=`` int_-inf^inf` p_boldN`(n)`` log_2` 1 over {p_boldN` (n)}`` dn]	(9-63)

이 때, 송신신호와 잡음신호는 통계적으로 독립이라는 조건을 적용하였다.

이제, 채널을 표시하는 □조건 pdf□ [eqn: p_boldY`(y vert x )]는 고정되어 있다고 가정하면, 식(9-57)에 표시된 평균 상호정보는 오직 □송신 pdf□ [eqn: p_boldX`(x)]에 따라 변화한다.

그러므로 채널을 통하여 전송되는 최대의 정보량은 수신심볼[eqn: boldY` (t)]의 각 표본에 대하여

[eqn: C_S ~==``{max} atop {p`(x )} `I`(boldX ``;` boldY`)~~~ (bits/sample)]	(9-64)

와 같이 표현된다. 이 식은 이산적 채널용량인 식(9-4)에 대응된다.

그러나 이 장의 첫머리에 밝힌 것처럼, 연속적 채널에 대해서는 각 신호를 표본화하여 디지탈신호로 만든 다음 그 채널용량을 (bps : bits per second) 단위로 산출하고자 한다. 이를 위하여 시스템의 대역폭(bandwidth)을 B(Hz)라 가정하고, 이에 대한 표본화 속도(sampling rate)를 제2-7절에서 소개한 표본화 정리에 따라 2B(samples/sec)으로 설정한다.

이와 같은 가정 하에서, 연속적 채널을 통하여 전송되는 최대의 정보속도(information rate)는 다음과 같이 주어진다.

[eqn: C ~==~ 2` B` C_S ~~(bps )]	(9-65)

이를 대역제한된 연속적 채널(bandlimited continuous channel)의 채널용량이라 정의한다.

연속적 채널 중 가장 널리 적용되고 있는 것이 AWGN(additive white Gaussian noise) 채널이며, 우리는 여기에서 이에 대한 채널용량을 산출하고자 한다. AWGN 채널의 특성을 간단히 정리하면 다음과 같다.

. 통신시스템의 성능을 분석하기 위하여 가장 흔히 가정되는 채널이 바로 AWGN 채널이다. 이는 모든 주파수에 대하여 동일한 전력밀도를 가지며(white), 그 확률적 특성이 Gaussian 분포를 따르는 덧셈형(additive) 잡음을 말한다. 여기에 정리된 성질 이외에 좀 더 상세한 내용을 공부하고자 하는 독자는 다음 문헌을 참고하라.

A.J.Viterbi and J.K.Omura, Principles of Digital Communication and Coding, Ch.2, pp.47-69, 1979, McGraw-Hill.

1. 이 채널은 보통 대역폭 B(Hz)로 한정된 대역제한 AWGN 채널로 적용되며, 통과대역 내에서는 왜곡(distortion)을 발생시키지 않는다.

2. 이 채널의 입력으로 송신신호[eqn: boldX` (t)]가 인가되면, 그 대역폭은 B(Hz)로 한정되며, 그 평균전력은

[eqn: S ~=`` E` \{boldX^2 (t) \}]	(9-66)

로 주어진다. 이를 신호전력(signal power)이라 한다.

3. 이 채널을 통과하는 신호는 대역제한 Gaussian 잡음의 영향을 받는다. 이 때, 잡음의 평균은 0 이며, 그 평균전력은

[eqn: N ~=`` E` \{boldN^2 (t) \} ~=`` eta ``B]	(9-67)

로 주어지는 덧셈형(additive) 잡음이다. 식(9-67)을 잡음전력(noise power)이라 한다.

4. 덧셈형 잡음이라 함은 식(9-61)과 같이 송신신호와 잡음신호의 합으로 수신신호가 주어지는 채널의 잡음을 말하며, AWGN 채널에 있어서 신호와 잡음은 통계적으로 독립이다. 따라서 그 평균전력의 관계는 다음과 같이 주어진다.

[eqn: E` \{boldY^2 (t) \} ~=``` E` \{boldX^2 (t) \} ``+`` E` \{boldN^2 (t) \}~=``` S ``+`` N]	(9-68)

먼저, 식(9-63)을 이용하여 잡음 Entropy의 값을 구해보자. 여기서 잡음신호의 확률밀도함수는 위 성질 3으로부터

[eqn: p_boldN`(n) ~=`` 1 over {sigma ` sqrt{2pi} } ``e^{-n^2 `/`` 2 sigma^2 }``, ~~ sigma^2 ``=`` N]	(9-69)

와 같이 주어진다. 즉, 평균이 0 이고 분산(variance 혹은 전력)이 [eqn: sigma^2 `=`N] 인 Gaussain 분포를 나타낸다. 이 식을 식(9-63)에 대입하여 계산하면

[eqn: H`(boldY vert boldX ) ~=~ 1 over 2 log_2` (2pi` e` N )]	(9-70)

을 얻는다. 이는 앞의 [예제 1]에서 식<5>를 구할 때와 동일한 과정에 의하여 계산된 것이다.

식(9-70)으로 유도된 잡음 Entropy는 오직 채널의 특성을 표시하는 값이므로 송신신호의 확률분포와는 무관하다. 따라서 식(9-64)는 다음과 같이 표현할 수 있다.

[eqn: C_S ~= & {max} atop {p`(x )} left{ H`(boldY ) ``-`` H`(boldY vert boldX ) right} ## = & left{max atop {p`(x )} H`(boldY ) ``right} ``-`` 1 over 2 log_2` (2pi`e`N)]	(9-71)

또한, 수신신호의 전력은 AWGN 채널의 성질 4 (식9-68)에 의하여 [eqn: (S+N`)]으로 고정되므로, 수신 Entropy의 최대치는 송신 확률밀도함수 [eqn: p_boldX` (x)]가 0-mean Gaussian 분포를 가질 때 나타나며, 그 최대치는

[eqn: max atop {p(x)} H`(boldY ) ~=~ 1 over 2 log_2 `\{`2pi`e`` (S+N) \}]	(9-72)

와 같이 주어진다. (위 [예제 1] 참조)  그러므로 식(9-72)를 식(9-71)에 대입하면

[eqn: C_S &=`` 1 over 2 log_2` \{`2pi`e`(S+N) \} ``-`` 1 over 2 log_2` (2pi`e`N) ## &=`` 1 over 2 log_2`` left( {S`+`N} over N right) ~=``1 over 2 log_2`` left( 1 ``+`` S over N right)]	(9-73)

을 얻는다. 이를 식(9-65)에 대입하면 □연속적 채널용량□의 정리된 식

[eqn: C ~=``` B`` log_2`` left(1 ``+`` S over N right) ~~~(bps)]	(9-74)

이 된다.

이 식이 저 유명한 □Hartley-Shannon 법칙□이다. 여기서 S/N 은 신호전력과 잡음전력의 비를 표시하는 데, 이를 신호대잡음비(SNR : signal-to-noise ratio)라 부르며 시스템의 성능의 좌우하는 중요한 요소가 된다.

결국, 식(9-74)는 대역제한된 AWGN 채널을 통하여 전송할 수 있는 최대의 전송속도를 나타낸다. 따라서 이러한 속도로 전송하는 시스템을 이상적인 전송시스템이라 할 수 있으며, 이는 실질적인 전송시스템의 성능을 비교하는 척도가 된다.

우리는 이 책의 마지막 장인 제10장에서, 모든 전송시스템은 채널용량을 초과하는 속도로 신뢰성 있게 전송할 수 없으며, 만일 채널용량을 초과한다면 잡음에 의한 오류의 발생이 불가피하다는 사실을 입증하게 될 것이다. 또한, 이러한 전송속도로 처리하는 시스템이 이상적으로 존재함을 밝히게 될 것이다.

연 습 문 제

9.1	시스템 상호정보(system mutual information)에 대한 세 가지 등식

[eqn: I`(A``;``B) &=`` H`(A) ``+`` H`(B ) ``-`` H`(A,``B ) ## &=`` H`(A) ``-`` H`(A vert B) ## &=`` H`(B) ``-`` H`(B vert A)]

에 대한 정보공학적 의미를 각각 설명하고, 이산적인 채널에 대해서는 두 번째 등식을, 연속적 채널에 대해서는 세 번째 등식을 적용하는 이유를 구체적으로 제시하라.

9.2	식(9-4)에 주어진 이산적 채널용량과 식(9-65)에 주어진 연속적 채널용량을 비교하고, 그 단위가 bpb 및 bps 로 주어지는 이유를 설명하라. 또한, 식(9-64)와 이들의 관계를 말하라.

9.3	제9-2절에 정의된 균일채널과 균일입력을 가정하고, 채널에 대하여 n-bit 단일오류 정정코드(Hamming code)를 적용할 때, 수신측에서 발생하는 오류에 대한 다음 표를 완성하라.

오류 bit의 수	수신측에서의 발생확률
0
1
2
3 이상

9.4	송신알파벳이 A Ａ {a1, a2, a3}로 주어지고, 수신알파벳이 B Ａ {b1, b2, b3}로 주어질 때

(a) 송신심볼 a1에 대한 채널확률이 P1,1 Ａ 1/2, P1,2 Ａ 1/4, P1,3 Ａ 1/4 로 주어졌다. 가능한 균일채널 중 하나를 설정하고, 그 천이행렬을 써라.

(b) 식(9-26)에 주어진 균일채널의 상호정보에서 W의 값을 구하라.

(c) 채널관계식을 이용하여 수신 Entropy H(B)를 송신심볼의 발생확률 p(ai), (iＡ1,2,3)와 채널확률 Pi,j,(iＡ1,2,3, jＡ1,2,3)로 나타내어라.

(d) 채널용량을 구하고, 그 때의 확률분포 p(ai)를 산출하라.

9.5	식(9-18)이 유도된 과정과 동일한 방법을 사용하여 식(9-19)를 유도하라.

9.6	이진대칭행렬(BSC)의 천이행렬이 다음과 같이 주어질 때, 각각의 채널용량을 구하라.

(a) [eqn: T_1 ``Ａ`` bmatrix {1/2 &~ 1/2` ## 1/3 &~ 2/3` }]	(b) [eqn: T_2 ``Ａ`` bmatrix {2/3 &~ 1/3` ## 1/3 &~ 2/3` }]

(c) [eqn: T_3 ``Ａ`` bmatrix {9/10 &~ 1/10 ## 1/10 &~ 9/10` }]	(d) [eqn: T_4 ``Ａ`` bmatrix {1/2 &~ 1/2 ## 1/2 &~ 1/2`` }]

9.7	위 문제 9.6에 주어진 천이행렬들에 있어서, 각 송신심볼 a1, a2에 대한 후향조건 상호정보 I(a1 ; B), I(a2 ; B)를 구하여 이들이 채널용량과 동일함을 보여라. 단, 이 때의 송신심볼은 식(9-38)에 주어진 것과 같이 동일한 발생확률로 인가된다.

9.8	각주 2에서 밝힌 바와 같이, 랜덤과정(random process)은 표본공간의 각 원소를 시간함수에 대응시키는 함수이다. 또한, 표본화(sampling)는 이러한 랜덤과정에 대하여 등간격의 시간점을 부여하는 절차라 볼 수 있다.

(a) 랜덤과정의 표본(sample)들이 각각 하나의 랜덤변수(random variable)를 형성하는 이유를 설명하라.

(b) 만일, 표본공간의 한 원소를 확정한다면, 랜덤과정은 어떻게 주어지는가?

9.9	소스의 확률밀도함수가 다음과 같이 주어질 때, 상대적 Entropy [eqn: H`(boldX )]를 구하라. 이 때, 단위는 bits로 한다.

(a) [eqn: p_boldX`(x) ~=~ 1 over {sigma sqrt{2pi}}` e^{-x^2 `/`` 2`sigma^2 }]

(b) [eqn: p_boldX` (x) ~=`` 1 over 2M ,~ for~ -M``<=``x``<=``M]

(c) [eqn: p_boldX` (x) ~=~ e^-x , ~for~ x``>=``0]

(d) [eqn: p_boldX` (x) ~=~ 1 over 4 `x , ~for ~ 1 ``<=``x ``<=`` 3]

9.10	다음과 같은 확률밀도함수를 갖는 소스에 대하여, 상대적 Entropy [eqn: H`(boldX )]를 신호전력 [eqn: S`=`E`(boldX^2 `)]의 함수로 표현하라. 또한, 산출된 상대적 Entropy가 다음의 부등식을 만족함을 보여라.

[eqn: H`(boldX ) ~＠~ 1 over 2 `log_2` (2pi`e` S)]

(a) [eqn: p_boldX` (x) ~=~ 1 over a ,~for~ 0``<=``x ``<=``a]    (a uniform distribution)

(b) [eqn: p_boldX`(x) ~=~ alpha over 2 `e^{-alpha `LEFT | x RIGHT | },~ alpha``Ｂ``0]      (a Laplace distribution)

(c) [eqn: p_boldX`(x) ~=``` a`` e^{-a`x }``u(x), ~ a``Ｂ``0]    (a exponential distribution)

9.11	랜덤변수가 [eqn: boldZ ``=``a` boldX `+` b] 로 표현될 때, 상대적 Entropy [eqn: H`(boldZ )]를 [eqn: H`(boldX )]의 함수로 나타내어라.

9.12* (fixed-mean positive source)

다음과 같은 조건을 만족하는 소스에 대하여

[eqn: boldX`(t) ~>=~0 ``,~~E`\{boldX`(t) \}``=``m]

(a) 상대적 Entropy [eqn: H`(boldX )]를 최대로 하는 확률밀도함수를 구하라.

(b) 상대적 Entropy의 최대값 [eqn: H_max `(boldX )]를 구하라.

9.13* (fixed-power positive source)

다음과 같은 조건을 만족하는 소스에 대하여

[eqn: boldX`(t) ~>=~0 ``,~~E`\{boldX^2 (t) \}``=``S]

(a) 상대적 Entropy [eqn: H`(boldX )]를 최대로 하는 확률밀도함수를 구하라.

(b) 상대적 Entropy의 최대값 [eqn: H_max `(boldX )]를 구하라.

9.14*	결합 확률밀도함수와 조건 확률밀도함수 사이에 성립하는 관계식

[eqn: {p_boldX` (x vert y)} over {p_boldX` (x)}~=~ {p_{boldX boldY}``(x,``y)} over {p_boldX`(x)``p_boldY`(y)}]

을 이용하여 평균 상호정보가 항상

[eqn: I` (boldX ```;`` boldY ) ``>=``` 0]

임을 증명하라.

(※ Hint : 제1장의 정리 1에서 증명된 부등식

[eqn: ln`x ~<=~ x``-``1]

을 이용하라.)

9.15	어떤 AWGN 채널에 인가되는 신호전력과 잡음의 전력밀도가 다음과 같이 주어졌다.

[eqn: S over eta ``=`` 10^4 ``,~ \where~ &S```:``\signal ``\power# &N``=``eta`B``:`` \noise ``\power]

시스템의 대역폭이 각각 다음과 같이 설정되었을 때, 오류의 발생 없이 전송할 수 있는 최대의 신호속도(signaling rate)는 몇 bps 인가 ?

(a) [eqn: B``=``1```(kHz)]     (b) [eqn: B``=``10```(kHz)]     (c) [eqn: B``=``100```(kHz)]

9.16	시스템의 대역폭이 [eqn: B``=``3``(kHz)] 인 AWGN 채널을 통하여, 다음과 같은 전송속도로 정보를 전달하려고 한다. 오류가 발생하지 않도록 하기 위하여 필요한 최소의 신호대잡음비 [eqn: S/N]의 값을 (dB)를 단위로 구하라.

(a) [eqn: 2,400 ~(bps)]       (b) [eqn: 4,800~(bps)]        (c) [eqn: 9,600 ~(bps)]

9.17	시스템의 대역폭이 [eqn: B``=``1``(kHz)] 이고, 잡음의 전력밀도가 [eqn: eta`=`1`` (muW`/Hz)]인 AWGN 채널을 통하여, 다음과 같은 전송속도로 정보를 전달하려고 한다. 신뢰성 있는 통신이 되기 위하여 필요한 최소의 신호전력[eqn: S]의 값을 ([eqn: mW]) 단위로 계산하라.

(a) [eqn: 100 ~(bps)]         (b) [eqn: 1,000~(bps)]        (c) [eqn: 10,000 ~(bps)]