다층퍼셉트론의 중간층 뉴런이 지닌 역할을 정보처리의 관점에서 밝혀내기 위해서, 이 논문에서는 중간층 뉴런의 가중치 합들 간의 상관계수가 비선형 변환에 의해 감소하게 됨을 증명하였다. 고립단어 인식을 다층퍼셉트론에 학습시킨 경우의 시뮬레이션으로 이러한 증명이 맞음도 보였다. 이 결과로부터 중간층 뉴런이 지닌 비선형 변환은 정보의 중복을 감소시키는 효과가 있음을 알 수 있다.		For elucidating the key role of hidden neurons in information processing of Multilayer perceptrons(MLPs), we prove that the correlation coefficient between weighted sums to hidden neurons decreases under element-wise nonlinear transformations. This is verified through training of MLPs for an isolated word recognition problem. From this result, we can say that the element-wise nonlinear functions reduces redundancy in the information contents of hidden neurons.

요 약		Abstract

비선형 변환에 의한 중간층 뉴런 상관계수 감소 Decreasing of Correlations Among Hidden Neurons of Multilayer Perceptrons
오상훈 목원대학교 정보통신전파학부		Sang-Hoon Oh (shoh@mokwon.ac.kr) Div. of Inf. Comm. & Radio Eng., Mokwon University
중심어 : 비선형변환, 중간층뉴런, 상관계수, 특징추출		Keyword : Nonlinear Transformation, Hidden Neurons, Correlation Coefficients, Feature Extraction

I. 서론

다층퍼셉트론(MLP: Multi-Layer Perceptron)이 임의의 함수를 근사화할 수 있는 것은 중간층 뉴런의 비선형성 때문이다[1]. 중간층 뉴런은 시그모이드 변환을 통하여 입력벡터를 중간계층의 벡터로 변환시키며, 다음 계층의 뉴런들은 이 중간계층 벡터를 기반으로 출력에 적합한 형태의 변환을 학습하게 된다. 여기서, 중간층 뉴런들의 출력값들을 MLP의 □내부 표현(international representation)□이라고 한다. MLP의 통계학적 특성을 분석하기 위해서는 내부 표현에서 시그모이드 비선형 변환이 미치는 영향을 분석하는 것이 필수적이다[2].

이 내부표현의 결정론적 분석을 통해,  Shah와 Poon은 시그모이드 변환이 선형적으로 독립인 중간층 뉴런 출력을 만들어내며, 이는 MLP의 학습에 필수적임을 보였다[3]. 이 분석과 비슷하게, 비선형 변환에 의해 중간층 뉴런의 가중치 합 간의 상관계수가 줄어듬을 통계학적으로 증명한 보고도 있었다[4]. 그렇지만, 이 증명은 중간층 뉴런 간의 상관계수를 나타내는 수식이 적분형태를 간직한 상태에서 이루어졌기에 완전히 해석된 해를 구하지 못한 것이다. 이 적분수식의 해석적 해를 구해낸다면 신경회로망의 정보이론적 관점을 포함한 많은 특성 분석에 크게 유용할 것이다[5].

이 논문에서는, 중간층 뉴런 간의 상관계수를 나타내는 수식에서 적분에 대한 해석적 해를 유도하며, 이를 기반으로 비선형 변환에 의해 상관계수가 줄어듬을 증명한다. 먼저, 2장에서 MLP의 구조 및 학습 방법을 간략히 설명한 후, 3장에서 중간층 뉴런 간의 상관계수가 감소함을 증명한다. 4장에서는 고립단어 인식의 학습된 결과에서 3장의 증명과 같이 상관계수가 감소함을 시뮬레이션으로 보인다. 마지막으로 5장에서 결론을 맺겠다.

II. 다층퍼셉트론(MLP)

MLP는 여러 층을 지닌 계층 구조로 이루어져 있으나, 여기서는 간략히 살명하기 위해서 입력층-중간층-출력층으로 이루어진 MLP를 설명하겠다. MLP에 임의의 N차원 입력 벡터 [eqn: bold x = [ x_1 , x_2 , DOTSLOW , x_N ]]가 주어지면, 각 계층의 뉴런들 값이 순차적으로 결정된 후, 최종적으로[eqn: M]차원 출력 벡터 [eqn: bold y = [ y_1 , y_2 , DOTSLOW , y_M ]]이 구해진다. 이를 간략히 설명하면 다음과 같다.

입력 벡터 [eqn: bold x]에 대한 [eqn: j]번째 중간층 뉴런의 가중치 합이

[eqn: a_j = w_j0 + SUM from { { i}=1} to N w_ji x_i , \ j=1, 2, DOTSLOW , H]       (1)

와 같이 계산된 후, 이의 시그모이드 비선형 변환에 의해 중간층 뉴런 값 [eqn: h_j]는

[eqn: h_j = tanh PMATRIX { { a_j over 2} }]                (2)

로 정해진다. 여기서, [eqn: w_j0]는 바이어스이며, [eqn: w_ji]는 [eqn: h_j]와 [eqn: x_i]의 연결 가중치이다. 다음에 [eqn: k]번째 출력뉴런의 가중치 합

[eqn: b_k = v_k0 + SUM from { { j}=1} to H v_kj h_j , \ k=1, 2, DOTSLOW , M]    (3)

가 계산 된 후, 역시 이의 시그모이드 변환에 의해

[eqn: y_k = tanh LEFT ( b_k over 2 RIGHT )]                 (4)

가 정해진다.

이상과 같은 절차에 의해 임의의 입력벡터 [eqn: bold x]에 대한 출력벡터[eqn: bold y]가 결정되면, 학습은 [eqn: bold y]가 원하는 목표 출력벡터 [eqn: bold t]에 가능한 한 가까운 값이 되도록 바이어스와 가중치들을 변경시키는 형태로 이루어진다. 이를 위해서 [eqn: bold y]와 [eqn: bold t]사이의 거리에 대한 오차함수가 정의되어야 하는 데, 보통 MSE (Mean-Squared Error)를 많이 사용한다. 그렇지만, 이 경우 조기포화 현상과 일반화 성능 저하의 문제가 심각하여[6], 이에 대한 해결책으로 nCE([eqn: n]th order extension of Cross-Entropy) 오차함수가 제안되었는데[7],[8], 여기서는 nCE 오차함수를 이용한 학습 방법을 설명하겠다.

nCE 오차함수는

[eqn: E_n ( bold x ) = - SUM from { { k}=1} to M INT {t_k^n+1 ( t_k - y_k )^n} over {2^n-2 ( 1- y_k )^2} d y_k# rm where \ t_k = +- 1 \ rm and \ n=1, 2, DOTSLOW]      (5)

로 정의된다. 출력층 바이어스와 가중치는 미분에 의해 변경되는 데, 먼저 다음과 같이 정의되는 델타신호

[eqn: delta_k = - {partial E_n ( bold x )} over {partial b_k}= {t_k^n+1 ( t_k - y_k )^n} over {2^n-1}]     (6)

을 계산한 후, 이를 이용하여

[eqn: TRIANGLE v_kj = eta LEFT ( - {partial E_n ( bold x ) } over { partial b_k } RIGHT ) {partial b_k} over {partial v_kj}=eta delta_k h_j]     (7)

와 같이 변경된다. 여기서[eqn: eta]는 학습률이며, [eqn: h_j] 대신에 1을 대입하면 출력층 바이어스 [eqn: v_k0]의 변경식이 얻어진다.

다음으로 중간층의 가중치와 바이어스들을 변경시키기 위해서는 먼저 중간층 뉴런의 델타신호가

[eqn: delta_j^(h) = - {partial E_n ( bold x )} over {partial a_j}={(1-h_j ) (1+ h_j )} over {2} SUM from { { k}=1} to M v_kj delta_k]   (8)

로 계산된 후, 출력층의 경우와 마찬가지로 이를 이용하여

[eqn: TRIANGLE w_ji = eta delta_j^(h) x_i]                 (9)

와 같이 중간층 학습이 이루어진다.

III. 중간층 뉴런의 상관계수 감소

MLP의 학습에 사용되는 학습패턴과 일반화 성능 측정에 사용되는  시험패턴은 패턴 벡터들의 모집단으로부터 임의로 선택되기 때문에 통계학적으로 독립인 벡터로 보아도 무방하다[6]. 또한, 중간층 뉴런의 가중치 합들은 중간 극한치 정리(Central Limit Theorem)에 의해 근사적으로 결합 가우시안(jointly Gaussian) 분포를 지닌다. 따라서, 가우시안 분포 확률벡터에 대한 비선형 변환의 효과를 분석함으로써 중간층 뉴런의 통계학적 의미를 파악할 수 있겠다. 이러한 목적에서, 다음과 같은 piecewise 비선형 변환에 대하여 고려한다.

평균이 각각 [eqn: u_0]와 [eqn: v_0]인 두 개의 결합 가우시안 확률변수 [eqn: bold u]와 [eqn: bold v]가 다음과 같은 비선형 변환에 의해 [eqn: bold y]와 [eqn: bold z]로 변환되었다고 하자.

[eqn: {bold y = T_1 ( bold u )= left{ MATRIX { {a bold u + y_0 , }& {bold u < u_0}# {b bold u + (a-b) u_0 + y_0 , }& {bold u >= u_0 ,} } }] (10)

[eqn: {bold z = T_2 ( bold v )= left{ MATRIX { {c bold v + z_0 , }& {bold v < v_0}# {e bold v + (c-e) v_0 + z_0 , }& {bold v >= v_0 .} }}]  (11)

여기서 [eqn: a, b, c, e]는 영이 아닌 실수이다. 이때, [eqn: bold u]와 [eqn: bold v]의 확률밀도함수(p.d.f. : probability density function)는

[eqn: MATRIX { {f(u,v)}&={{1} over {2 pi sigma_u sigma_v sqrt{1-r^2}} exp ( - {1} over {2 ( 1-r^2 )}[ {(u-u_0)^2} over {sigma_u^2}}# { }&{ - 2r {(u-u_0 )(v-v_0 )} over {sigma_u sigma_v }+{(v-v_0)^2} over {sigma_v^2}])}. \ \ \ (12)}]

이다. 여기서, [eqn: r=Cor [ bold u , bold v ]]는 [eqn: bold u]와 [eqn: bold v]의 상관계수(correlation coefficient)를 나타낸다.

[eqn: bold y]와 [eqn: bold z] 간의 상관계수는 정의에 의해

[eqn: r_yz = Cor [ T_1 ( bold u ), T_2 ( bold v )]={E[bold y bold z ]-E[ bold y ] E [ bold z ]} over {sigma_y sigma_z}]   (13)

로 주어진다. [eqn: bold y]의 평균과 분산을 유도하면 각각

[eqn: E[ bold y ] ={b-a} over {sqrt{2 pi}}sigma_u + a u_0 + y_0]        (14)

[eqn: sigma_y^2 = {sigma_u^2} over { 2 pi} [ pi ( a^2 + b^2 )- (a^2 - b^2 )]]     (15)

이다. 또한, [eqn: bold z]의 평균과 분산은

[eqn: E[ bold z ] ={e-c} over {sqrt{2 pi}}sigma_v + c v_0 + z_0]        (16)

[eqn: sigma_z^2 = {sigma_v^2} over { 2 pi} [ pi ( c^2 + e^2 )- (c^2 - e^2 )]]     (17)

이다.

이제 [eqn: E[ bold y bold z ]]를 유도하는 것은 몇 가지 절차를 거쳐야 하는데, 이것은 논문 [4]에서 해석적으로 구하지 못하였던 결과이다. 먼저, [eqn: bold u' =bold u + u_0]와 [eqn: bold v' = bold v + v_0]로 대치하자. 그러면,

[eqn: E [ bold y bold z ] = INT _{ - inf }^{inf } yzf(u,v)dudv=A+B+C]    (18)

형태로 나타나는 데, 여기서,

[eqn: MATRIX { {A}&{= (ac+be) INT _{ - inf}^{0 } INT _{ - inf}^{0 } u'v'f_m (u',v') d u□dv'}# {}&{+(bc+ae) INT _{ - inf}^{0 } INT _{ 0}^{inf } u'v' f_m (u',v') d u' dv',}}]   (19)

[eqn: MATRIX { {B}&{= INT _{ - inf}^{0 } INT _{ - inf}^{0 }[c(au_0 + y_0 )v'+a(cv_0 +z_0 ) u']f_m (u',v') d u□dv'}# {}&{+ INT _{ - inf}^{0 } INT _{ 0}^{inf } [c(au_0 + y_0 )v' + b(cv_0 +z_0 )u'] f_m (u',v') d u' dv'}# {}&{+ INT _{ 0}^{inf } INT _{ - inf }^{0 }[e(au_0 + y_0 )v'+ a(cv_0 +z_0 ) u'] f_m (u',v') d u' dv' }# {}&{+ INT _{ 0}^{inf } INT _{ 0}^{inf } [e(au_0 + y_0 )v'+ b(cv_0 +z_0 ) u'] f_m (u',v') d u' dv', }}]

[eqn: &INT _{ -inf}^{0 } INT _{ -inf}^{0 } u'v' f_m (u',v') d u' dv'# &= {sigma_u sigma_v} over {2 pi sqrt{1-r^2 }} INT _{ pi}^{3pi/2 } INT _{ 0}^{inf } gamma^2 sin theta cos theta exp PMATRIX { {- {gamma^2} over {2 (1-r^2 )} BMATRIX { {cos theta^2 - 2r sin theta cos theta + sin theta^2 } } } } gamma d gamma d theta# &= {sigma_u sigma_v } over {2 pi} (1-r^2 )^3/2 INT _{ pi}^{3pi/2 } {sin 2 theta} over {(1-rsin 2 theta )^2} d theta = {sigma_u sigma_v } over {2 pi} BMATRIX { { {pi r} over {2} + sqrt{1-r^2} + r tan^-1 {r} over {sqrt{1-r^2}}} }]     (26)

위의 수식에서 마지막 적분은

[eqn: INT {sin ax} over {(b+c sin ax )^2} dx = {b cos ax} over {a(c^2 - b^2 )(b+c sin ax)}+{c}over{c^2 - b^2} {2} over {a sqrt{b^2 - c^2}} tan^-1 {b tan {ax} over {2}+c} over {sqrt{b^2 - c^2}} for b^2 > c^2]   (27)

을 이용하여 유도한 것이다. 이와 유사하게

[eqn: INT _{ -inf}^{0 } INT _{ 0}^{inf } u'v' f_m (u',v') d u' dv'= {sigma_u sigma_v } over {2 pi} BMATRIX { { {pi r} over {2} - sqrt{1-r^2} - r tan^-1 {r} over {sqrt{1-r^2}}} }]                (28)

을 얻을 수 있다. 따라서, (23), (24), (26), (28)을 (18)에 대입한 후, 이를 (14)――--(17)과 함께 (13)에 대입하면

[eqn: r_yz = {{pi r} over {2} (a+b)(c+e)+(sqrt{1-r^2} + r tan^-1 {r} over {sqrt{1-r^2}} -1)(a-b)(c-e)} over {sqrt{pi (a^2 + b^2 ) - (a^2 - b^2 )} sqrt{pi (c^2 + e^2 ) - (c^2 - e^2 )}}]                 (29)

로 유도된다.

(20)

[eqn: MATRIX { {C}&{= 2(au_0 + y_0 )(bv_0 + z_0 )[ INT _{ - inf}^{0 } INT _{ - inf}^{0 } f_m (u',v') d u□dv'}# {}&{ + INT _{ - inf}^{0 } INT _{ 0}^{inf } f_m (u',v') d u' dv']} \ \ \ \ \ \ \ \ \ \ \ \ (21)}]

이고,

[eqn: MATRIX { {f_m (u',v')}&={{1} over {2 pi sigma_u sigma_v sqrt{1-r^2}} exp ( - {1} over {2 ( 1-r^2 )}[ {u'^2} over {sigma_u^2}}# { }&{ - 2r {u'v'} over {sigma_u sigma_v }+{v'^2} over {sigma_v^2}])}\ \ \ \ \ \ \ \ \ \ \ \ \ (22)}]

이다. 수식 (20)을 계산하면

[eqn: B={sigma_v} over {sqrt{2 pi}}(e-c)(au_0 + y_0 ) + {sigma_u} over {sqrt{2 pi}}(b-a)(cv_0 + z_0 )] (23)

임을 보일 수 있다. 또한, Cauchy 확률밀도함수를 이용하여

[eqn: C=(au_0 + y_0 )(cv_0 + z_0 )]           (24)

를 얻는다.

이제 (19)의 적분을 계산하겠다. [eqn: u'/sigma_u = gamma cos theta] 와 [eqn: v'/sigma_v = gamma sin theta]로 대체하고,

[eqn: INT _{ 0}^{inf } x^3 exp(-ax^2 ) dx={1} over {2a^2}]      (25)

을 이용하면, (19)의 첫 번째 적분은 (26) 처럼 구해진다.

이제 (29)로 주어진 [eqn: r_yz]와 [eqn: r]의 크기를 비교해보겠다. [eqn: r neq0]이고 [eqn: a]와 [eqn: c]가 고정되어 있다고 보면, (29)로 주어진 [eqn: r_yz]는 [eqn: b]와 [eqn: e]의 함수이다. [eqn: r_yz]와 [eqn: r]의 관계를 알아보기 위해서는 다음과 같이 미분에 따른 조건 2변수 함수의 극대·극소점을 확인해보면 된다[9].

i) [eqn: r_yz]는 [eqn: P_1 (b=a,e=c)]와 [eqn: P_2 (b=-a,e=-c)]에서 극점을 가진다.

ii) [eqn: P_1]에서 [eqn: r_yz]는 극대 혹은 극소가 되며 (29)로부터 [eqn: |r_yz |=|r|]이다.

iii) [eqn: P_2]에서 [eqn: r_yz]는 안장점(saddle point)이 된다.

iv) [eqn: b]와 [eqn: e]가 양과 음의 무한대로 접근할 때,

[eqn: & lim from { b, e -> +- inf } ( |r|-|r_yz |)=# &|r|- DMATRIX { { {{pi r} over {2} + sqrt{1-r^2}+r tan^-1 {r} over {sqrt{1-r^2}}-1} over {pi -1}} }>0](30)

이므로 [eqn: |r_yz | <|r|] 이다.

위와 같은 절차에 의해서 [eqn: |r_yz |]는 [eqn: P_1]에서 최대값 [eqn: |r|]을 가지며, 그 이외의 지점에서는 항상 [eqn: |r|]보다 작다. 또한, [eqn: bold u]와 [eqn: bold v]가 독립이면[eqn: (r=0)], [eqn: T_1 ( bold u )]와 [eqn: T_2 (bold v )]가 독립이므로 [eqn: r_yz =0]이며, 이는 (29)와 일치한다. 이제 우리는 결론을

[eqn: &|Cor[ T_1 ( bold u ), T_2 ( bold v )]|=|Cor[ bold u , bold v ]| \ \ \ \ \ (31)# &\ \ if a=b, c=e \ or Cor[ bold u , bold v ]=0,# &|Cor[ T_1 ( bold u ), T_2 ( bold v )]|<|Cor[ bold u , bold v ]| \ rm otherwise]

와 같이 내릴 수 있다.

(10), (11)과 같은 형태의 piecewise 선형적 근사화가 가능한 비선형 변환들 [eqn: T_1]과 [eqn: T_2]가 적용될 경우, (31)로부터 [eqn: |Cor[ T_1 ( bold u ), T_2 ( bold v ) ]|]는 [eqn: |Cor [ bold u , bold v ]|]보다 작게됨을 알 수 있다. MLP의 중간층 뉴런들이 지닌 시그모이드 변환은 이와 같은 성질을 지닌 비선형 변환이라고 볼 수 있으므로, 이 결과는 중간층 뉴런에 입력되는 가중치 합들의 상관계수 특성 파악에 적용 가능하다. 즉, 시그모이드 변환이 중간층 뉴런들이 지닌 정보의 중복성을 감소시킨다. 이것은 Shah 와 Poon이 증명하였던 결과[3]-―〈-즉, MLP의 학습이 제대로 이루어진 경우 중간층 뉴런들은 서로 선형적 독립성을 지니게 된다-와 일치한다.

IV. 시뮬레이션

실질적인 문제를 MLP에 학습 시킨 경우 앞장에서의 증명과 같이 중간층 뉴런 간의 상관계수가 비선형 변환에 의해 줄어드는 지를 확인하기 위해서, 고립단어 인식문제를 MLP에 학습시켰다. 학습대상으로 삼은 데이터베이스는 한국어 50 단어이며, 900개의 학습패턴과 1024개의 시험패턴으로 구분되어 있다. 이를 MLP의 인식 및 시험에 사용하기 위해 1024 차원의 ZCPA 특징 벡터를 추출하였다[10]. MLP는 1024-50-50 구조이며, 초기 가중치들은 [eqn: [-1 TIMES 10^-4 , 1 TIMES 10^-4 ]]에서 균일분포를 지니도록 임의로 선정한 후 학습방법에 따라 학습시켰다. 시뮬레이션의 확신을 위해서 이와 같은 절차를 9번 실시하였다. 그림 1은 9번의 학습결과 얻은 학습패턴에 대한 오인식률과 학습 횟수의 관계를 평균을 계산 한 후에 그린 것이다. 이 그림에서 학습이 잘 되었음을 알 수 있다.

그림 1. MLP의 고립단어 인식 학습: 학습패턴의 오인식률.

위와 같은 학습결과 얻은 가중치들을 저장한 후, 과연 학습패턴들이 입력될 때 나타나는 중간층 뉴런들 간의 상관계수가 시그모이드 변환에 의해 감소하는 지를 측정하였다. 그 결과 시그모이드 변환에 의해 62.38%는 상관계수가 감소하였으며, 0.8%는 변동이 없었지만, 36.8%는 증가하였다. 앞장에서의 증명은 중간층 뉴런의 가중치 합들이 가우시안 분포라는 가정 하에 이루어졌지만, 실제 가중치 합들은 가우시안 분포가 아니므로 증명과 달리 상관계수가 증가하는 경우가 있었지만, 대부분의 경우는 시그모이드 변환에 의해 중간층 뉴런 간의 상관계수가 줄어든다. 즉, 실제적 문제를 MLP에 학습시킨 경우에도 중간층 뉴런들이 지니는 상관계수는 대부분의 경우 시그모이드 변환에 의해 줄어들며, 이는 중간층 뉴런들이 입력으로부터 서로 독립적인 특징을 추출하려는 경향을 띤다고 말할 수 있음을 나타낸다. 한편, 입력벡터의 분포가 가우시안이어서 가중치 합들 역시 가우시안인 경우에 대한 시뮬레이션 결과는 항상 시그모이드 변환에 의해 줄어듬을 [4]에서 확인할 수 있다.

V. 결론

이 논문에서는 MLP의 중간층 뉴런에서 시그모이드 비선형 변환이 지닌 통계학적 특성을 상관계수의 관점에서 분석하였다. 먼저, piecewise 비선형 변환이 결합 가우시안(jointly Gaussian) 확률변수에 적용되면 상관계수가 감소하게 됨을 증명하였다. 다음으로, 고립단어 인식을 MLP에 학습시킨 후, 중간층 뉴런들이 지니게 되는 상관계수를 측정하여, 이들이 시그모이드 변환에 의해 대부분 줄어들게 됨을 시뮬레이션으로 확인하였다. 이는 중간층 뉴런들이 입력벡터에서 서로 독립적인 특징을 추출하려는 경향을 지님을 보인 것이다. 그리고, 이 논문에서 얻은 해석적 결과들은 MLP의 정보이론적 측면 분석에 유용할 것이다.

참 고 문 헌

[1]  K. Hornik, M. Stinchcombe, and H. White, "Multilayer feedforward networks are universal approximators," Neural Networks, vol. 2, pp. 359-366, 1989.

[2] X. Zeng and D. S. Yeung, "Sensitivity analysis of multilayer perceptrons to input and weight perturbations," IEEE Tr. Neural Networks, vol. 12, pp. 1358-1366, 2001.

[3] J. V. Shah and C. S. Poon, "Linear independence of internal representations in multilayer perceptrons," IEEE Tr. Neural Networks, vol. 10, pp. 10-18, 1999.

[4] S.-H. Oh and Y. Lee, "Effect of nonlinear transformations on correlation between weighted sums in multilayer perceptrons," IEEE Tr. Neural Networks, vol. 5, pp. 508-510, 1994.

[5] T.-W. Lee, M. Girolami, A. J. Bell, and T. J. Sejnowski, "A unifying information-theoretic framework for independent component analysis," Computers & Mathematics with Applications, vol. 31, pp. 1-21, 2000.

[6] Y. Lee, S.-H. Oh, and M. W. Kim, "An analysis of premature saturation in back-propagation learning," Neural Networks, vol. 6, pp. 719-728, 1993.

[7] S.-H. Oh, "Improving the error backpropagation algorithm with a modified error function," IEEE Tr. Neural Networks, vol. 8, pp. 799-803, 1997.

[8] S.-H. Oh and S.-Y. Lee, "An adaptive learning rate with limited error signal signals for training of multilayer perceptrons," ETRI Journal, vol. 22, pp. 10-18, 2000.

[9] W. Kaplan, Advanced Mathematics for Engineers, p. 481, MA: Addison Wesley, 1981.

[10] D.-S. Kim, S.-Y. Lee, and R. M. Kil, "Auditory processing of speech signals for robust speech recognition in real-world noisy environment," IEEE Tr. Speech and Audio Processing, vol. 7, pp. 55-69, 1999.

오 상 훈(Sang-Hoon Oh)                           정회원

1986년 2월 : 부산대학교 전자공학과           졸업(공학사)

1988년 2월 : 부산대학교 대학원 전           자공학과 졸업(공학석사)

1999년 8월 : 한국과학기술원 전기           및 전자공학과 졸업(공학박사)

1988년 1월 ∼ 1989년 12월: LG 반도체(주) 사원

1990년 1월 ~ 1998년 6월: 한국전자통신연구원 기초기술연구부 및 이동통신기술연구소 선임연구원

1999년 8월 ~ 2000년 3월: 한국과학기술원 뇌과학연구센터 연구원

2000년 4월 ~ 2000년 10월: 일본 RIKEN, Brain Science Institute, Research Scientist

2000년 10월 ~ 20001년 10월: (주)엑스텔테크놀리지 연구소장

2001년 11월 ~ 2002년 2월: 한국과학기술원 초빙교수

2002년 3월~현재 : 목원대학교 정보통신전파학부 전임강사

<관심분야> : 지능정보처리 알고리즘 개발 및 IT에의 응용,  독립성분분석, 음성 신호 처리