다층퍼셉트론의 잡음 강건성 분석 및 향상 방법
An Analysis of Noise Robustness for Multilayer Perceptrons and Its Improvemenets
오상훈 목원대학교 정보통신공학과 Sang-Hoon Oh(shoh@mokwon.ac.kr)
	요약
	이 논문에서는 다층퍼셉트론(MLP:Multilayer Perceptron)에서 입력에 잡음이 섞인 경우 출력노드의 확률밀도 함수를 유도하고, 이의 적분으로 잡음에 의하여 패턴이 오인식될 확률을 유도하였다. 그리고, 이를 향상시키는 선형적 방법을 제안하였다. 즉, 독립성분분석(ICA: independent component analysis)과 주성분분석( PCA: principle component analysis)를 적용하여, 이들이 지닌 잡음 처리 효과를 SNR(Signal-to-Noise Ratio) 관점에서 분석하였다. 그리고 이들이 잡음을 처리한 후 MLP에 입력 시 나타나는 잡음 강건성을 필기체 숫자 인식의 시뮬레이션으로 확인하였다. ■ 중심어 :∣다층퍼셉트론∣잡음 강건성∣선형 전처리∣독립성분분석∣주성분분석∣
	Abstract
	In this paper, we analyse the noise robustness of MLPs(Multilayer perceptrons) through deriving the probability density function(p.d.f.) of output nodes with additive input noises and the misclassification ratio with the integral form of the p.d.f. functions. Also, we propose linear preprocessing methods to improve the noise robustness. As a preprocessing stage of MLPs, we consider ICA(independent component analysis) and PCA(principle component analysis). After analyzing the noise reduction effect using PCA or ICA in the viewpoints of SNR(Singal-to-Noise Ratio), we verify the preprocessing effects through the simulations of handwritten-digit recognition problems. ■ keyword :∣Multilayer Perceptrons∣Noise Robustness∣Linear Preprocessing∣ICA∣PCA∣

I. 서 론

한국콘텐츠학회논문지 '09 Vol. 9 No. 1

다층퍼셉트론의 잡음 강건성 분석 및 향상 방법

접수번호 : #080925-002 접수일자 : 2008년 09월 25일	심사완료일 : 2008년 10월 06일 교신저자 : 오상훈, e-mail : shoh@mokwon.ac.kr

단층 퍼셉트론(SLP: Single-layer Perceptron)이 선형적으로 분리할 수 있는 문제만을 해결할 수 있다는 단점을 해결하기 위하여 제안된 다층퍼셉트론(MLP: Multilayer Perceptron)은 충분한 수의 중간층 노드들이 있으면 임의의 비선형 함수를 제한된 오차 내에서 근사화 할 수 있다[1]. 이를 근거로 MLP가 패턴인식, 음성인식, 시계열 예측, 비선형 제어, 이동통신, ATM 교환 등 다양한 분야에 응용되고 있다[2-7]. 한편, 이러한 응용분야에서 MLP의 입력은 많은 잡음을 지닐 수 있으며, 이러한 경우의 성능저하에 대한 분석을 MLP의 실질적 문제 응용을 위해 행해져야 한다.

이제까지 행해졌던 MLP의 잡음에 의한 성능저하 분석은 먼저 중간층 노드들이 문턱함수(threshold function)인 경우에 행해졌다[8][9]. 중간층 노드들이 시그모이드 비선형 변환을 지닌 경우는, 출력을 입력에 대한 미분의 형태로 구해진 것이 대부분이었다[10]. 이러한 분석 결과들은 시그모이드 비선형을 다루지 않았거나, 혹은 출력에서 성능이 저하되는 관점이 아니어서 직접적 효용성이 떨어진다.

한편으로, MLP의 강건성을 주제로 한 연구도 진행되었었는데, Delashmit와 Manry는 MLP의 학습에서 오차가 학습의 진행에 따라 증가하는 경우가 나타나는 것을 방지하기 위한 방법, 즉, 학습이 강건하게 이루어지는 방법을 MLP의 가중치 초기화를 적절하게 하는 방식으로 제안하였다[11]. 이 방법은 학습 과정의 강건성에 대한 문제를 해결하고자 한 것이다. Chung 등은 MLP에서 중간층이 많아지면 강건성이 저하되는 문제를 해결하기 위하여 층별로 학습하는 방법을 제안하였다[12]. 그렇지만, 대부분의 경우에 MLP는 중간층이 하나 인 경우를 많이 사용한다. Sanchez-Poblador 등은 MLP의 인식 성능을 향상시키는 방법으로 ICA(independent component analysis)를 전처리 단계로 사용할 것을 제안하였다[13]. 이 방법은 입력 잡음의 강건성 향상을 위하여 제안한 방법은 아니며, 패턴인식 문제에서 ICA 전처리를 하게 되면, 그 특징들이 독립적이 되어 오히려 패턴인식 성능이 저하되는 문제가 있다. Bae 등은 ICA와 MLP를 접목하여 선택적 주의 집중을 구현하였다[14]. 즉, ICA 처리 후 MLP에 입력된 정보에 근거하여 출력값이 계산되면, 이  MLP의 출력단 정보에 의해 전처리 단계인 ICA의 가중치를 변경시키는 방법이다. 이 방법은 MLP의 출력 정보에 의하여 ICA가 암묵신호분리를 잘 하도록 재학습시키는 방법이다. 한편, PCA (Principal Component Analysis)를 사용하여 MLP의 중간층 노드 수를 결정하고, 그 중간층 가중치의 초기 값으로 사용한 방법을 Park 등이 제안하였다[15]. 이 방법은 MLP의 중간층 가중치 초기화를 위한 방법으로 입력 잡음의 강건성과는 무관하다.

이 논문에서는, MLP의 입력 패턴에 잡음이 섞일 경우 출력에 그 영향을 미쳐서 인식성능이 저하되는 정도를  확률밀도함수(p.d.f.: probability density function)의 적분 형태로 유도한다. 그리고, 입력 잡음에 의해 인식성능의 저하를 방지하기 위한 선형적 전처리 단계로 주요소분석(PCA: principle component analysis)과 독립성분분석 (ICA:independent component analysis)을 고려하여, 이들이 지닌 잡음 감소 효과를 분석한다. 마지막으로 필기체 숫자의 시뮬레이션으로 PCA와 ICA의 전처리 단계를 거치는 것이 입력 잡음에 대한 MLP 강건성을 향상시키는 효과를 확인하고자 한다.

이 논문의 구성은 다음과 같다. 먼저 II장에서 MLP의 입력 잡음에 대한 강건성을 p.d.f.의 유도 및 이의 적분으로 구한다. III장에서 MLP의 선형적 전처리단계로 PCA와 ICA를 수행하는 경우 SNR의 효과를 유도한다. IV장에서 필기체 숫자 인식 문제의 시뮬레이션으로 PCA와 ICA의 잡음 강건성 효과를 확인하고, V장에서 결론을 맺겠다.

II. 다층퍼셉트론의 잡음 강건성 분석

MLP가 잡음에 대한 강건성을 지니는 것을 정성적으로 설명하면 크게 두 가지이다. 첫째로는, 중간층 노드들 간의 직교(orthogonal) 성질 때문이다. 중간층 노드들은 학습 과정 중에 직교하도록 학습되는 경향이 있다. 따라서, 비록 입력에 잡음이 같이 들어오더라도 중간층 노드의 출력들은 서로 직교하므로 출력층 노드 계산 시 서로 상쇄되어 잡음량이 감소되는 효과가 발생한다. 두 번째는 정보 이론적 관점에서 그 원인을 찾을 수 있다. 즉, MLP의 학습 시 각 계층들은 입력 패턴의 인식에 유용한 정보는 간직하고, 유용하지 않은 정보는 제거하려고 한다. 이렇게 학습된 MLP에 입력과 함께 잡음이 들어오면, 입력 패턴의 분류에 유용하지 않은 잡음은 계층적 정보처리 과정에서 제거되는 효과를 지닌다.

여기서는 MLP의 잡음 강건성을 패턴인식으로 국한하여, 잡음이 패턴의 오인식률에 미치는 영향을 수식적으로 유도하는 형태로 분석하겠다. N-H-M (N 입력노드, H 중간층 노드, M 출력층 노드) 구조 MLP가 학습이 완료되었다고 하자. 이때, 입력패턴 [eqn: bold x^(p) = [x_1^(p) , x_2^(p) , ldots , x_N^(p) ]^T]가 [eqn: N(0, sigma_I )] 분포의 i.i.d. (independent identically distributed) 잡음 [eqn: bold x^n = [x_1^n , x_2^n , ldots , x_n^n ]^T]에 의해 변형되면, 입력은

[eqn: bold x = bold x^(p) + bold x^n]               (1)

이 된다. 그리고, [eqn: j]번째 중간층 노드에 입력되는 가중치 합은

[eqn: a_j = a_j^(p) + sum_i=1^N w_ji x_i^n , j=1,2, ldots , H]     (2)

와 같이 된다. 여기서, [eqn: bold W = (w_ji )]는 입력에서 중간층으로의 연결 가중치 행렬이고,

[eqn: a_j^(p) = w_j0 + sum_i=1^n w_ji x_i^(p)]            (3)

이다. 그러면, 가우시안 확률변수의 합은 가우시안이므로, [eqn: bold a = [a_1 , a_2 , ldots , a_H ]^T]는 가우시안 확률벡터가 되는 것을 쉽게 보일 수 있을 것이며, 그 p.d.f.(probability density function)는

[eqn: f_a (bold a )= 1 over {sqrt{(2 pi)^H |bold C |}} exp LEFT [ - 1 over 2 LEFT ( bold a - E[ bold a ] RIGHT )^T bold C^-1 LEFT ( bold a - E[ bold a ] RIGHT ) RIGHT ]]

(4)

이 된다. 여기서, [eqn: bold C = ( C_ij )]는 [eqn: bold a]의 covariance 행렬이며,

[eqn: C_ji =sigma_I^2 sum_k=1^N w_ik w_jk]            (5)

이다. 중간층 노드의 출력 벡터 [eqn: bold h = [h_1, h_2, ldots , h_H ]^T]는 시그모이드 비선형 변환

[eqn: h _{i} = {2} over {1+exp(-a _{i} /T)} -1]         (6)

에 의해 계산된다. 이 시그모이드 함수를 이용하여 [eqn: bold h]의 p.d.f.를 유도하면

[eqn: f_h ( bold h ) = {f_a LEFT ( -T ln LEFT [ 2 over {h_1 +1}-1 RIGHT ], ldots, -T ln LEFT [ 2 over {h_H + 1}-1 RIGHT ] RIGHT )} over {|J_h LEFT ( a_1 , a_2 , ldots , a_H RIGHT )|}]

(7)

이고, 여기서

[eqn: J_h (a_1 , a_2 , ldots , a_H ) = LEFT ( 1 over 2T RIGHT )^H prod_k=1^H LEFT ( 1-h_k RIGHT )^2]  (8)

이다. [eqn: bold h]는 가우시안이 아니지만 분산은 유한함을 알 수 있다.

이제 [eqn: k]번째 출력 노드에 입력되는 가중치 합은

[eqn: b_k = v_k0 + sum_j=1^H v_kj h_j , k=1,2, ldots , M]    (9)

이고, 여기서 [eqn: bold V = ( v_kj )]는 중간층과 출력층을 연결하는 가중치 행렬이다. [eqn: bold b]의 p.d.f.를 유도하기 위해서 [eqn: H-M]개의 보조 변수를

[eqn: b_k = h_k , k=M+1, M+2, ldots , H]   (10)

로 도입한 후에 벡터 형태로 표현하여   [eqn: bold beta = [ b_1 - v_10 , ldots , b_M - v_M0 , b_M+1 , ldots , b_H ]^T]로 두면,

[eqn: bold beta = bold Z bold h]                  (11)

와 같이 표현할 수 있다. 여기서,

[eqn: bold Z = BMATRIX { { v_11}& {v_12 }& {ldots }&{v_1,M+1}&{ldots}&{v_1H}# { v_21}& {v_22 }& {ldots }&{v_2,M+1}&{ldots}&{v_2H}# {vdots }& {vdots }& { }&{vdots}&{}&{vdots}# {v_M1}&{v_M2}&{ldots}&{v_M,M+1}&{ldots}&{v_MH}# {}&{}&{}&{1}&{}&{bold 0}# {}&{bold 0}&{}&{}&{ddots}&{}# {}&{}&{}&{}&{}&{1}}]   (12)

이다. 출력층 연결 가중치 행렬 [eqn: bold V]가 full rank이면 [eqn: bold Z]는 non-singular 이므로, 역행렬이 존재하고

[eqn: bold h = bold Z^-1 bold beta]                (13)

이다. 이 관계를 이용하면 [eqn: bold beta]의 p.d.f.는

[eqn: f_beta ( bold beta ) = {f_h ( bold Z^-1 bold beta )} over {|J(h_1 , h_2 , ldots , h_H )|}]     (14)

로 구해지며, [eqn: J(h_1 , h_2 , ldots , h_H )]는 수식 (11)의 Jacobian 이다. 그러면, [eqn: bold b]의 p.d.f.는 수식 (14)를 모든 보조변수에 대해 적분하여

[eqn: f_b ( bold b ) = INT _{ - inf}^{inf }INT _{ - inf}^{inf }ldotsINT _{ - inf}^{inf }f_beta ( bold beta ) dh_M+1 ldots dh_H](15)

로 구할 수 있다.

만약, 입력 패턴 [eqn: bold x^(p)]가 첫 번째 class에 속하는 패턴이라면, 잡음의 영향 때문에 오인식될 확률은

[eqn: Pr (E_p ) = 1 - INT _{ -inf}^{inf }INT _{ -inf}^{b_1 }ldotsINT _{ -inf}^{b_1 }f_b (bold b ) db_M ldots db_2 db_1]

(16)

로 구해진다. 이 수식 (16)을 실제 상황에서 수치해석 방법을 도입하여 계산하려면 [eqn: H]차원의 중적분을 하여야 하므로 계산양이 아주 크다.

III. 잡음강건성을 위한 선형 전처리

MLP의 잡음강건성을 향상시키기 위한 선형적 전처리 방법으로 데이터의 2차 상관성을 제거하는 대표적 방법인 주요소분석(PCA)과 고차 상관성 까지도 제거하는 독립성분분석(ICA)을 고려하였다. 여기서는, PCA와 ICA를 전처리 단계로 도입하는 경우, 각 방법에서 잡음에 대한 영향이 감소되는 효과를 분석한다.

1. 주성분분석(PCA)

PCA는 일련의 벡터들로 주어진 데이터들의 평균을 0으로 처리하고 나서 상관행렬을 구한 후 이를 근거로 eigenvalue와 eigenvector들을 구하고, 이를 이용하여 데이터 벡터에 선형 변환을 가하는 것이다. 즉, PCA에 의해 구한 eigenvector들로 행렬을

[eqn: bold E = [ bold e_1 , bold e_2 , ldots , bold e_N ]]            (17)

와 같이 구성하자. 이때 각 eigenvector [eqn: bold e_i]는 eignevalue [eqn: lambda_i]를 지닌다고 할 때, 이들이 정렬되어 [eqn: lambda_1 > lambda_2 > ldots > lambda_N]이 되도록 한다. 그러면, [eqn: lambda_i]는 데이터들이 [eqn: bold e_i]방향으로 가지는 분산에 해당 된다. 행렬 [eqn: bold E]를 이용하여 데이터를

[eqn: bold u = bold E bold x]                 (18)

와 같이 선형 변환을 시키면 PCA에서 구한 eigenvector들을 이용하여 데이터의 좌표축을 변형한 것이다. 물론, [eqn: bold e_1]방향 데이터의 분산이 가장 크며 [eqn: bold e_N]방향의 분산은 아주 작게 나타난다. 대부분의 데이터는 eignevalue들이 큰 값에서 감소하다가 갑자기 아주 작은 값을 지니게 된다. 즉, [eqn: lambda_1 ldots lambda_L]는 어느 정도 큰 값을 지니고, [eqn: lambda_L+1 , ldots , lambda_N]는 아주 작은 값을 지닌다고 하면, [eqn: bold u]는 [eqn: L]차원으로 줄여도 데이터에서 소실되는 정보가 아주 미미하다. 이와 같은 관점에서

[eqn: hat{bold u} = [bold e_1 bold e_2 ldots bold e_L ] bold x=sum_j=1^L (bold e_j cdot bold x ) bold e_j]    (19)

와 같이 차원이 축소된 근사 데이터를 만든다.

식 (1)과 같이 신호원 벡터에 잡음이 섞인 경우 PCA에 의한 잡음 감소 효과를 살펴보자. 먼저, [eqn: hat bold u]에 있는 신호 성분의 power는

[eqn: P_s = sum_j=1^L (bold e_j cdot bold x^(p) )^2 approx sum_j=1^N ( x_j^(p) )^2]    (20)

로 주어지는 데, 이것이 위의 수식 (20)과 같이 [eqn: bold x^(p)]의 power와 거의 같은 이유는 PCA의 성질 때문이다. 다음으로 [eqn: hat bold u]의 잡음성분 power는

[eqn: P_n = sum_j=1^L ( bold e_j cdot bold x^n )^2 = sum_j=1^L (x_j^n )^2 = L sigma_I^2]   (21)

이다. 여기서, 식 (21)은 [eqn: bold x^n]이 i.i.d.(independent identically distributed) 이기 때문이다.

따라서, [eqn: bold x]의 PCA 변환 후 [eqn: hat bold u]을 얻으면 잡음의 power는 [eqn: N sigma_I^2]에서 [eqn: L sigma_I^2]으로 줄어들므로 [eqn: 10 log (N/L)]만큼 SNR(Signal to Noise Ratio)이 향상된다.

2. 독립성분분석(ICA)

ICA 알고리즘[16]에 따라 얻은 분리(unmixing) 행렬 [eqn: bold W](크기:[eqn: N times N])를 이용한 선형 변환 결과는

[eqn: {bold u}={bold W}{bold x}]               (22)

와 같이 표현된다. 이때,  신호 성분의 power는

[eqn: P_s = sum_j=1^N ( bold e_j cdot bold x^(p) )^2]         (23)

이고, 잡음 성분의 power는

[eqn: P_n = sum_j=1^N ( bold e_j cdot bold x^n )^2]           (24)

로 구해진다. ICA에 의해 학습된 unmixing 가중치 행렬을 이루는 각 vector가 [eqn: || bold e_j ||^2 =1]이라고 하면 식(23)과 (24)는 각각 [eqn: bold x]의 신호 및 잡음의 power와 같다. 즉, [eqn: N times N]형태의 ICA에서는 잡음의 감소가 이루어지지 않는다. 이는 PCA의 경우에도 차원 축소를 하지 않는다면 마찬가지일 것이다.

다음으로, ICA의 unmixing 행렬 [eqn: bold W]의 크기가 [eqn: P times N]인 경우를 고려해보자. 이 경우, 신호 및 잡음의 power는 각각

[eqn: P_s = sum_j=1^P ( bold e_j cdot bold x^(p) )^2]         (25)

와

[eqn: P_n = sum_j=1^N ( bold e_j cdot bold x^n )^2]           (26)

로 구해진다. 만약 PCA 경우에서처럼 ICA에 의해 얻은 unmixing 행렬에 의한 선형변환이 신호의 power를 그대로 간직한다고 하면 잡음의 power는 줄어들어 SNR의 개선이 이루어진다. 그렇지만, ICA의 변환 후 각 성분들은 통계적 독립성을 지니게 되므로, 이는 MLP가 학습에 의해 데이터로부터 규칙을 찾아내고자 하는 특성에 반한 형태의 데이터를 만든 것이다. 즉, MLP가 학습하기에 어려운 형태의 변환이 이루어진 것이다.

따라서, ICA를 전처리 단계로 한 후 MLP와 접합하여 인식기를 구성하는 것은 SNR 관점에서 아무런 이득을 기대할 수 없으며 오히려 MLP의 학습이 어려운 형태의 데이터 변환 때문에 학습 성능이 아주 저하되므로 적합하지 않은 형태이다.

IV. 시뮬레이션

전처리에 의한 MLP의 잡음 강건성 향상을 확인하기 위한 시뮬레이션 대상으로 CEDAR 데이터베이스의 필기체 숫자 인식을 다룬다. 학습대상은 18,468개의 [eqn: 12 times 12]필기체 숫자 영상이며, 각 픽셀은 16 레벨의 그레이 값을 지닌다. [그림 1]은 필기체 숫자 영상의 일부분을 보여준다.

그림 1. 필기체 숫자 영상

이를 144-30-10 구조의 MLP에 학습시킨 후, 2214개의 학습시키지 않은 시험 영상에 가우시안 잡음이 섞인 경우의 인식률 저하를 조사하였다. [그림 2]는 시험패턴에 잡음이 섞인 영상의 예이다. 제일 위의 열은 SNR이 25dB이며 차례로 5dB씩 잡음이 증가하여 제일 아래 열은 SNR이 0dB인 영상이다. 5dB 까지는 영상을 알아볼 수 있으나, 0dB의 경우 사람이 알아보기도 힘든 정도임을 볼 수 있다. 다음으로, 학습대상인 144차원의 18,468개 필기체 숫자 영상에 대해 PCA를 수행하여 eigenvalue를 조사한 후, 40차원으로 데이터 차원을 축소한 데이터로 40-30-10 구조의 MLP를 학습 시킨 후, 역시 마찬가지의 가우시안 잡음이 섞인 시험 영상 숫자의 인식률 저하를 조사하였다. 마지막 비교방법은 144차원의 학습 데이터들로 ICA를 학습시켜 얻은 144차원의 데이터를 144-30-10 구조의 MLP에 학습시킨 후, 마찬가지 방법으로 잡음의 강건성을 조사하였다.  이렇게 조사한 결과를 [그림 3]에 그렸다. [그림 3]은 MLP의 학습횟수 500 sweep 후 얻은 가중치를 지닌 것으로 인식률을 조사한 결과(W500)와 학습 과정 중 가장 일반화 성능이 좋은 가중치를 지닌 MLP를 사용하여 인식률을 조사한 결과(Wmin)로 구분된다.

그림 2. 잡음이 섞인 숫자 영상

먼저, ICA로 전처리 후 MLP를 학습시킨 경우에는 예상하였던 바와 같이 잡음의 강건성이 제일 나쁘다. 이는 ICA에 의한 데이터 변환이 잡음 제거 효과는 지니지 못하며, 오히려 MLP의 학습이 어려운 상태로 데이터 변환을 수행하기 때문이다. 그리고, PCA로 전처리 후 MLP에 학습시킨 경우가 MLP 경우보다 잡음 강건성이 많이 향상되었음을 볼 수 있는 데, 이는 앞에서 주장하였던 바와 같이 PCA에서 얻은 eignevector들을 이용한 차원 축소가 신호의 특성은 최대한 유지하면서 잡음을 제거하여 주었기에 얻어진 결과이다.

PCA가 차원 축소 시 잡음 제거 효과를 지니므로, ICA로 차원을 축소한 경우에도 잡음 제거 효과가 있는 지를 확인하기 위하여 시뮬레이션을 하였지만, ICA에 의한 차원 축소로 얻어진 데이터들은 서로 독립적인 성향 때문에 MLP에서 제대로 학습이 되지 않았다. 즉, 독립성분분석에 의해 추출되는 데이터는 패턴인식에서 MLP가 학습하기 어려운 형태임을 나타낸다.

그림 2. 필기체 숫자 영상의 SNR에 따른 오인식률

(W500:500번 학습 후 결과, Wmin: 최고인식성능 결과)

MLP에 PCA 전처리를 적용한 경우와 적용하지 않는 경우의 계산양을 비교해보자. PCA를 적용하지 않는 경우는 MLP의 전방향 계산에 [eqn: N TIMES H + H TIMES M] 만큼의 곱하기 연산이 필요하다. 한편, 입력 벡터가 PCA에 의해 [eqn: N] 차원에서 [eqn: P]차원으로 줄어들면, 전처리 단계부터 MLP의 전방향 계산에 필요한 곱하기 양은  [eqn: N times P + P TIMES H + H TIMES M]이 되므로 원래보다 인식을 위한 전방향 계산에서 [eqn: N times P - (N - P ) times H]만큼 곱하기 연산이 더 수행되어야 한다. 물론, 학습단계에서는 MLP를 학습시키는 것과 별도로 학습패턴으로부터 PCA 결과를 얻어내는 것 만큼의 계산양이 더 필요하다.

V. 결 론

이 논문에서는, 먼저 MLP가 지닌 입력 잡음에 대한 강건성을 정성적으로 고찰한 후 통계학적인 방법으로 유도하였다. 즉, 입력잡음이 섞인 경우 출력노드들의 확률밀도 함수를 유도하고, 이의 적분으로 입력패턴의 오인식 확률을 유도하였다. 실제, 이 수식을 적용하여 수치해석적으로 값을 계산할려면 중간층 노드 수 만큼의 중적분을 수행하므로 막대한 시간이 걸릴 것이다.

그 다음으로, MLP의 입력 잡음에 대한 강건성을 향상시키기 위한 선형적 방법으로 주성분분석(PCA)와 독립성분분석(ICA)를 제안하여 이 방법이 지닌 잡음 제거 효과를 SNR 관점에서 유도하였다. 시뮬레이션을 통하여 ICA는 잡음 제거 효과를 지니지 못하는 반면에 오히려 데이터의 특성들이 독립적이 되도록 하여, 데이터들로부터 학습을 통해 법칙을 찾아내는 MLP의 학습성능이 오히려 저하됨을 확인 하였다. PCA는 차원 축소 시 신호는 유지하면서 잡음을 제거하는 효과가 있어서, MLP의 잡음 강건성이 많이 향상됨을 시뮬레이션으로 보였다.

실제의 환경에서 MLP를 이용한 응용 문제를 다룰 때, PCA에 의한 전처리 과정은 잡음의 강건성을 향상시켜줄 것이다. 이 논문에서는 대표적인 선형처리 방식인 PCA와 ICA 만을 고려하였는데, 추후 Isoamp[17]이나 LLE(Lacally Linearly Embedding)[18] 같은 차원축소 알고리즘을 MLP의 전 단계로 적용하는 방법에 대한 연구가 필요하다.

참 고 문 헌

[1] K. Hornik, M. Stincombe, and H. White, "Multilayer Feedforward Networks Are Universal Approximators," Neural Networks, Vol.2, pp.359-366, 1989.

[2] R. P. Lippmann, "Pattern Classification Using Neural Networks," IEEE Communication Magazine, pp.47-64, 1989(11).

[3] J. B. Hampshire II and A. H. Waibel, "A Novel Objective Function for Improved Phoneme Recognition Using Time-Delayed Neural Networks," IEEE Trans. Neural Networks, Vol.1, pp.216-228, 1990(6).

[4] A. S. Weigend and N. A. Gershenfeld, Time Sereies Prediction: Forecastimg the Future and Understanding the Past, ASddison-Wesley Publishing  Co., 1994.

[5] K. S. Narenda and K. Parthasarathy, "Identification and Control of Dynamic System Using Neural Networks," IEEE Trans. Neural Networks, Vol.1, pp.4-27, 1990.

[6] B. Aazhang, B.-P. Paris, and G. C. Orsak, "Neural Networks for Multiuser Detection in Code-Division Multiple-Access Communications," IEEE Trans. Communications, Vol.40, pp.1212-1222, 1992.

[7] I. W. Habib, A. A. Tarraf, and T. N. Saadawi, "Intelligent Traffic Control for ATM Broadband Networks," IEEE Communication Magazine, Vol.33, pp.76-85, 1995.

[8] M. Stevenson, R. Winter, and B. Widrow, "Sensitivity of Feedforward Neural Networks to Weight Errors," IEEE Trans. Neural Networks, Vol.1, pp.71-90, 1990(3).

[9] S.-H. Oh and Y. Lee, "Sensitivity Analysis of Single Hidden-Layer Neural Networks with Threshold Functions," IEEE Trans. Neural Networks, Vol.6, pp.1005-1007, 1995(7).

[10] J. Y. Choi and C.-H. Choi, "Sensitivity Analysis of Multilayer Perceptron with Differentiable Activation Transformations," IEEE Trans. Neural Networks, Vol.3, pp.101-107, 1992(1).

[11] W. H. Delashmit and M. T. Manry, "Enhanced Robustness of Multilayer Perceptron Training," Proc. Thirty-Sixth Asilomar Conf. Signals,Systems and Computers, Vol.2, pp.1029-1033, 2002(11).

[12] F.-L. Chung, "CATSMLP: Toward a Robust and Interpretable Multilayer Perceptron with Sigmoid Activation Functions," IEEE Trans. Sys. Man. and Cyber. Part B, Vol.36, pp.1319-1331, 2006(12).

[13] V. Sanchez-Poblador et al., "ICA As A Preprocessing Technique for Classification," LNCS, Vol.3195, pp.1165-1172, 2004(10).

[14] U.-M. Bae, H.-M. Park, and S.-Y. Lee, "Top-Down Attention to Complement Independent Component Analysis for Blind Signal Separation," Neurocomputing, Vol.49, pp.315-327, 2002.

[15] Y. R. Park, T. J. Murray, and C. Chen, "Predicting Sun Spots Using A Layered Perceptron Neural Networks," IEEE Trans. Neural Networks, Vol.7, pp. 501-505, 1996(3).

[16] T.-W. Lee, "A Unifying information- theoretic framework for Independent Component Analysis," Computers & Mathematics with Applications, Vol.31, No.11, pp.1-21, 2000(3).

[17] J. B. Tenenbaum, V. de Silva, and J. C. Langford, "A Global Geometric Framework for Nonlinear Dimensionality Reduction," Science, Vol.290, No.22, pp.2319-2323, 2000(12).

[18] S. T. Roweis and L. K. Saul, "Nonlinear Dimensionality Reduction by Locally Linear Embedding," Science, Vol.290, No.22, pp.2323-2326, 2000(12).

저 자 소 개

오 상 훈(Sang-Hoon Oh)                    종신회원

▪1986년 2월 : 부산대학교 전자공학과(공학사)

▪1988년 2월 : 부산대학교 대학원 전자공학과(공학석사)

▪ 1999년 8월 : 한국과학기술원 전기 및 전자공학과(공학박사)

▪1988년 1월 ～ 1989년 12월 : LG 반도체(주) 사원

▪1990년 1월 ～ 1998년 6월 : 한국전자통신연구원 기초기술연구부 및 이동통신기술연구소 선임연구원

▪1999년 8월 ～ 2000년 3월 : 한국과학기술원 뇌과학연구센터 연구원

▪2000년 4월 ～ 2000년 10월 : 일본 RIKEN, Brain Science Institute, Research Scientist

▪2000년 10월 ～ 20001년 10월 : (주)엑스텔테크놀리지 연구소장

▪2001년 11월 ～ 2002년 2월 : 한국과학기술원 초빙교수

▪2002년 3월 ～ 현재 : 목원대학교 정보통신공학과 부교수

▪2008년 8월 ～ 현재 : 조지아공대 College of Computing, Div. Computational Science and Eng. 방문교수

<관심분야> : 지능정보처리 알고리즘 개발 및 IT에의 응용, 독립성분분석, NMF, 패턴인식, 음성신호 처리