다층 퍼셉트론의 층별 학습 가속을 위한 중간층 오차 함수
A New Hidden Error Function for Training of Multilayer Perceptrons
오상훈 목원대학교 정보통신공학부 Sang-Hoon Oh(shoh@mokwon.ac.kr)
	요약
	다층 퍼셉트론의 학습을 빠르게 하기 위한 방법으로 층별 학습이 제안되었었다. 이 방법에서는 각 층별로 오차함수가 주어지고, 이렇게 층별로 주어진 오차함수를 최적화 방법을 사용하여 감소시키도록 학습이 이루어진다. 이 경우 중간층 오차함수가 학습의 성능에 큰 영향을 미치는 데, 이 논문에서는 층별 학습의 성능을 개선하기 위한 중간층 오차함수를 제안한다. 이 중간층 오차함수는 출력층 오차함수에서 중간층 가중치의 학습에 관계된 성분을 유도하는 형태로 제안된다. 제안한 방법은 필기체 숫자 인식과 고립단어인식 문제의 시뮬레이션으로 효용성을 확인하였다. ■ 중심어 : 다층퍼셉트론| 층별 학습| 오차함수
	Abstract
	LBL(Layer-By-Layer) algorithms have been proposed to accelerate the training speed of MLPs(Multilayer Perceptrons). In this LBL algorithms, each layer needs a error function for optimization. Especially, error function for hidden layer has a great effect to achieve good performance. In this sense, this paper proposes a new hidden layer error function for improving the performance of LBL algorithm for MLPs. The hidden layer error function is derived from the mean squared error of output layer. Effectiveness of the proposed error function was demonstrated for a handwritten digit recognition and an isolated-word recognition tasks and very fast learning convergence was obtained. ■ keyword :Multilayer Perceptrons | Layer-By-Layer Training | Error Function

I. 서 론

다층 퍼셉트론의 층별학습 가속을 위한 중간층 오차함수

서비스 컴포넌트 구현

한국콘텐츠학회논문지 '05  Vol. 5 No. 5

다층퍼셉트론(MLP: Multilayer Perceptron)은 충분한 수의 중간층 노드가 있으면 임의의 함수를 허용 오차 내에서 근사화 할 수 있다는 특성 때문에 패턴인식, 시계열 예측, 비선형 제어, 통신 등에 응용되고 있다. MLP의 학습으로는 EBP(Error Back Propagation)가 가장 널리 사용되는 데, 이는 고정된 학습률을 사용한 강하 학습법(gradient descent)이다[1]. 이 방법은 학습속도가 느리기 때문에, 학습률을 가변시키는 여러 가지 휴리스틱(Heuristic)한 방법들이 제안되었다[2,3]. 또한 학습속도 가속을 위한 방법으로 다양한 오차함수도 제안되었다[4,5]. 이 방법이 비록 향상된 학습속도를 보였지만, 여전히 최적이 아닌 학습률을 사용한 강하학습에 기반을 둔 것이다.

또 다른 방법이 컨쥬게이트 그래디언트(conjugate gradient)나 뉴튼(Newton) 방법과 같은 2차 비선형 최적화 방법이다. 이 방법들의 가장 큰 약점은 많은 응용 문제에서 나타나는 헤시안(Hessian) 행렬의 나쁜 특성과 헤시안(Hessian)에 관련된 많은 계산량 문제이다[6].

이에 대한 해결책으로 LBL(layer-by-layer) 최적화 방법이 제안되었는데, 이는 MLP의 각 계층을 비선형 부분과 선형 부분으로 나누어 학습을 진행시킨다[6,7]. 각 계층의 선형 부분은 최소 자승(least squares) 문제 형태로 풀어진다. 비록 이 방법이 컨쥬게이트 그레디언트(conjugate gradient)나 뉴튼(Newton) 방법 보다 훨씬 작은 계산량과 빠른 학습속도를 보이지만, 중간층에 설정되는 목표 값 때문에 학습이 안되는 문제에 직면하게 된다. 즉, 중간층에 설정되는 목표 값이 선형적으로 분리될 수 없으면, 더 이상 중간층과 출력층의 오차를 줄일 수 없다.

Yam과 Chow는 중간층의 목표 값 설정 때문에 학습이 정체되는 문제를 해결하기 위하여 LBL과 EBP의 접목 방법을 제안하였다[8]. Chen과 Manry도 출력층은 최소 자승(least squares) 문제 형태의 학습을 적용하며 중간층은 EBP 형태의 학습을 제안하였다[9]. 이 방법은 중간층에 목표 값을 설정하지 않는다. 그렇지만, EBP 방법에 의한 중간층 가중치 학습 시 학습률을 휴리스틱(Heuristic)하게 변경시킨다.  Ergezinger와 Thomsen은 중간층 노드의 시그모이드 함수를 선형적으로 근사화 시킨 후 중간층 가중치를 학습시키는 형태의 LBL 방법을 제안하였다[10]. 이 방법은 중간층 목표 값을 설정하지 않는 방법이다. 그렇지만, 이를 위하여 시그모이드 함수의 선형화 오차를 제한하기 위한 벌점 항을 오차함수에 포함시켰는데, 이를 조절하기 위하여 휴리스틱(Heuristic)한 방법을 사용한다.

이 논문은 LBL 학습에서 출력층의 오차함수를 근거로 중간층의 가중치 학습에 관계된 성분을 유도한다. 이렇게 유도된 성분에 기반한 LBL 학습은 일반적인 LBL 학습의 정체 문제를 휴리스틱(Heuristic)한 방법이나 최적화되지 않은 학습률을 사용함 없이 해결한다. II장에서 MLP의 LBL 학습에 대하여 간략히 설명하고, III장에서 출력층 오차함수에서 중간층 가중치 변경에 관련된 성분을 분리 후 이를 근거로 중간층을 학습하는 방법을 설명한다. IV장에서 시뮬레이션을 통하여 제안한 방법의 효용성을 검증하고 V장에서 결론을 맺는다.

II. 다층퍼셉트론의 LBL 학습

그림 1. 다층퍼셉트론 구조

다층퍼셉트론(MLP)이 N개의 입력 노드와 H개의 중간층 노드 및 M개의 출력 노드들로 구성되어 있다고 하자. 어떤 입력패턴 [eqn: {bold x}=[x_1 , x_2 , ... , x_N ]]이 MLP에 입력되면, j번째 중간층 노드의 값은  [eqn: h_j = f (hat h_j ) = tanh ( hat h_j / 2 ), j=1, 2, ..., H]   (1)

와 같이 주어진다. 여기서[eqn: f(.)]는 중간층 노드의 시그모이드 비선형 함수이며

[eqn: hat h_j =SUM from { { i}=0} to N w_ji x_i]                    (2)

는 중간층 노드에 입력되는 가중치 합이다. 는 와 를 연결하는 중간층 가중치이며 로 주어지기에 는 바이어스라고 불린다. 같은 형태로 k번째 출력 노드 에 입력되는 가중치 합은

[eqn: hat y_k =SUM from { { j}=0} to H v_kj h_j , k=1, 2, ..., M]       (3)

이고, 는 와 를 연결하는 출력층 가중치이고, 이며 는 바이어스이다.

P개의 학습패턴 [eqn: bold x^(p) (p=1,2, ... , P)]와 이들의 출력층 목표벡터 [eqn: bold t^(p) =][eqn: [ t_1^(p) , t_2^(p) , ... , t_M^(p) ]]가 주어지면, 가중치들은 출력층에서

[eqn: E^out = 1 over 2 SUM from { { p}=1} to P SUM from { { k}=1} to M ( t_k^(p) - y_k^(p) )^2]      (4)

로 주어지는 MSE(mean squared error)를 최소화시키도록 변경된다. 이 논문은 출력층 노드가 선형이라고 가정하여 [eqn: y_k^(p) = {hat y_k}^(p)]이고 [eqn: t_k^(p) = {hat t_k}^(p)]로 둔다. 그러면,

[eqn: E^out = 1 over 2 SUM from { { p}=1} to P SUM from { { k}=1} to M ( {hat t_k}^(p) - sum_j=0^H v_kj h_j^(p) )^2] (5)

이 된다.

다층퍼셉트론의 LBL 학습에서 한 학습 epoch은 3개의 독립적인 최소 자승(least squares) 문제로 분리된다[6]. 물론, 각각의 최소 자승(least squares) 문제는 행렬의 역변환 혹은 반복적인 강하 학습(gradient descent) 알고리즘에 의해 풀어진다. 최소 자승(Least squares) 문제는 2차 함수 형태를 지니므로, 강하 학습(gradient descent) 알고리즘이 최적의 학습률을 지니도록 할 수 있다. 다음의 3 단계가 최적 학습률을 지닌 LBL 학습을 요약하여 설명한다.

∙단계 1: 가 고정되어 있고 [eqn: bold t^(p)]가 주어진 상황에서,  이 최소값을 지니도록를

[eqn: Delta v_kj = - eta_k^out {partial E^out} over {partial v_kj }=eta_k^out SUM from { { p}=1} to P (t_k^(p) - y_k^(p) ) h_j^(p)](6)

와 같이 학습한다. 여기서, [eqn: eta_k^out]은 [eqn: y_k]에 연관된 출력층 가중치들의 학습률로써 그 최적값은

[eqn: eta_k^out = { SUM from { { j}=0} to H LEFT ( {partial E^out} over {partial v_kj} RIGHT )^2} over {SUM from { { p}=1} to P LEFT ( SUM from { { j}=0} to H {partial E^out} over {partial v_kj} h_j^(p) RIGHT )^2 } , k=1,2,...,M](7)

로 구해진다.

∙단계 2: 단계 1에 의해 변경된 를 사용하여 중간층 노드의 목표값을

[eqn: z_j^(p) = h_j^(p) + zeta_p beta_j^(p)]               (8)

와 같이 정한다. 여기서,

[eqn: beta_j^(p) ≡ - {partial E^out} over {partial h_j^(p)}=SUM from { { k}=1} to M LEFT ( t_k^(p) - y_k^(p) RIGHT ) v_kj]   (9)

이고, 는 가상의 중간층 목표값을 할당하기 위한 학습률이다. 가 고정되었다고 가정하면, 출력층의 MSE는 의 2차함수이므로 [eqn: {partial E^out} / {partial zeta_p}=0]인 조건에서 의 최적값이

[eqn: zeta_p = { SUM from { { j}=1} to H LEFT ( beta_j^(p) RIGHT )^2} over {SUM from { { k}=1} to M LEFT ( SUM from { { j}=1} to H v_kj beta_j^(p) RIGHT )^2 } , p=1,2,...,P] (10)

와 같이 구해진다. 식 (10)을 이용하여 식 (8)과 같이 가상의 중간층 목표값이 정해진 후, 을 만족하도록 절삭의 과정을 거친다. 그 다음 에 대해 입력되는 가중치 합의 목표값이

[eqn: {hat z_j} ^(p) =f^-1 (z_j^(p) ) = 2 tanh^-1 ( z_j^(p) )]   (11)

와 같이 구해진다.

∙단계 3: 단계 2에서 구한 [eqn: {hat z_j }^(p)]와 주어진 학습 패턴 [eqn: bold x^(p)]를 활용하여,

[eqn: E^hid = 1 over 2 SUM from { { p}=1} to P SUM from { { j}=1} to H LEFT ( {hat z_j}^(p) - {hat h_j}^(p) RIGHT )^2]    (12)

을 최소화 시키도록 를

[eqn: Delta w_ji = - eta_j^hid {partial E^hid} over {partial w_ji }]            (13)

와 같이 변경한다. 여기서, 학습률 의 최적값은

[eqn: eta_j^hid = { SUM from { { i}=0} to N LEFT ( {partial E_n^hid} over {partial w_ji} RIGHT )^2} over {SUM from { { p}=1} to P LEFT ( SUM from { { i}=0} to N {partial E_n^hid} over {partial w_ji} x_i^(p) RIGHT )^2 }]     (14)

로 주어진다.

단계 1, 2, 3은 모두 선형 문제를 최적 학습률을 사용하여 푸는 형태이므로 빠른 수렴성을 보인다. 그렇지만, 단계 2에서 주어지는 중간층 노드의 목표값들이 선형적으로 분리될 수 없으면, 단계 3에서 중간층 가중치의 학습에 의해[eqn: E^hid]를 충분히 줄이는 것은 불가능하다. 이것이 MLP의 LBL 학습에서 더 이상 오차가 줄지 않는 학습의 정체 문제를 일으키게 된다.

III. LBL 학습을 위한 중간층 오차함수

식 (12)와 같이 주어진 중간층 노드의 가중치 합에 대한 오차함수는 중간층 가중치의 학습에 대한 근거를 제공한다. 그렇지만, 중간층 노드의 가중치 합은 시그모이드 함수를 거친 후 출력층 노드로 전달되며, 학습은 출력층 노드의 오차를 줄이는 것이 최종 목적이므로 중간층의 오차함수는 출력층의 오차함수로부터 유도되어져야 한다.

이를 위하여, 중간층 노드가 목표값 를 지닌 경우의 출력값을 라고 두면

[eqn: Y_k^(p) =SUM from { { j}=0} to H v_kj z_j^(p)]           (15)

이고, 출력층의 오차함수는

[eqn: E^out = 1 over 2 SUM from { { p}=1} to P SUM from { { k}=1} to M [ (t_k^(p) - Y_k^(p) ) + (Y_k^(p) - y_k^(p) )]^2]  (16)

와 같이 둘 수 있다. 이 수식을 전개한 후, 가 와 상관관계가 없다고(uncorrelated) 가정하면

[eqn: E^out approx 1 over 2 SUM from { { p}=1} to P SUM from { { k}=1} to M ( t_k^(p) - Y_k^(p) )^2]

[eqn: + 1 over 2 SUM from { { p}=1} to P SUM from { { k}=1} to M [ sum_j=0^H v_kj ( z_j^(p) - h_j^(p) )]^2]   (17)

와 같이 근사화 된다. 식 (17)에서 두 번째 항이 중간층 노드의 값에 관련되어 있으므로 로 두면, 이 을 근거로 중간층 노드의 오차함수를 유도하겠다.

먼저 [eqn: ( z_j^(p) - h_j^(p) )]가 1계 미분 가능한 함수이므로, 1차 Taylor 급수 근사화를 이용하면

[eqn: ( z_j^(p) - h_j^(p) ) approx f' ( {hat h_j}^(p) )( {hat z_j}^(p) - {hat h_j}^(p) RIGHT )]     (18)

와 같이 된다. 이를 식 (17)의 두 번째 항에 대입한 후 중간층 노드 간에 들이 상관관계가 없다는(uncorrelated) 가정을 적용하면

[eqn: E_n^hid approx 1 over 2 SUM from { { p}=1} to P SUM from { { j}=0} to H sum_k=1^M v_kj^2 [f' ({hat h_j}^(p) )]^2 ( {hat z_j}^(p) - {hat h_j}^(p) )^2]

(19)

와 같이 유도된다. 여기서, [eqn: sum_k=1^M v_kj^2]이 거의 상수에 가깝다고 가정하고 또한 [eqn: f'({hat h_j}^(p) ) approx f'({hat z_j}^(p) )]라고 두면

[eqn: E_n^hid = 1 over 2 SUM from { { p}=1} to P SUM from { { j}=1} to H LEFT ( {hat z_j}^(p) - {hat h_j}^(p) RIGHT )^2 LEFT [ f'({hat z_j}^(p) ) RIGHT ]^2](20)

와 같이 된다. 이 오차함수에서 마지막 항은 중간층 노드가 시그모이드 함수의 선형영역에 있는 지 혹은 포화 영역에 있는 지에 따라 중간층 가중치의 변경량을 조절하는 역할을 한다. 이는 MLP의 출력층에서 MSE를 최소화 시키는 것이 EBP 학습의 목적이므로, 와 의 거리 보다는 와 의 거리를 고려하여 중간층 가중치가 변경되도록 하는 것이다. 만약 와 가 같은 포화영역에 위치하면, 비록 와 의 거리가 크더라도 와 의 거리는 작다. 이 경우 와 의 큰 거리에 따라 중간층 가중치를 변경하는 것은 불합리하다. 한편, 가 선형 영역에 있는 경우에 중간층 가중치는  와 의 거리에 따라 변경되어야 한다.

를 최소화시키기 위하여 중간층 가중치는

[eqn: Delta w_ji = - eta_j^hid {partial E_n^hid} over {partial w_ji }]          (21)

에 따라 변경될 것이다. 여기서, 는 학습률이고

[eqn: {partial E_n^hid} over {partial w_ji} = - SUM from { { p}=1} to P LEFT ( {hat z_j}^(p) - {hat h_j}^(p) RIGHT ) LEFT [ f'({hat z_j}^(p) ) RIGHT ]^2 x_i^(p)] (22)

이다. 식 (21)에 따라 변경된 중간층 가중치를 식 (20)에 대입하면

[eqn: E_n^hid (eta_j^hid ) = 1 over 2 SUM from { { p}=1} to P SUM from { { j}=1} to H ( {hat z_j}^(p) - {hat h_j}^(p)]

[eqn: + eta_j^hid SUM from { {i}=0} to N {partial E_n^hid} over {partial w_ji }x_i^(p) )^2 LEFT [ f'( {hat z_j}^(p) ) RIGHT ]^2]      (23)

이 된다. 따라서, 최적의 는 조건[eqn: {partial E_n^hid (eta_j^hid ) } / {partial eta_j^hid } =0]에 의해

[eqn: eta_j^hid = { SUM from { { i}=0} to N LEFT ( {partial E_n^hid} over {partial w_ji} RIGHT )^2} over {SUM from { { p}=1} to P LEFT ( SUM from { { i}=0} to N {partial E_n^hid} over {partial w_ji} x_i^(p) RIGHT )^2 LEFT [ f'( {hat z_j}^(p) ) RIGHT ]^2}](24)

와 같이 구해진다. 식 (21)-(24)가 단계 2의 수식을 대체한 것이며 이 논문에서 새롭게 제안된 학습 방법이다.

이제 제안한 LBL 방법을 EBP 알고리즘과 비교하여 보자.  식 (8)에서 [eqn: zeta_p beta_j^(p)]가 작은 값을 지닐 경우, 테일러 급수 전개에 의해 식 (11)은

[eqn: {hat z_j} ^(p) =f^-1 (h_j^(p) + zeta_p beta_j^(p) ) approx {hat h_j}^(p) + zeta_p beta_j^(p) 2 over {1-h_j^(p)^2}](25)

와 같이 근사화 된다. 또한, [eqn: z_j^(p)]가 급격하게 변하지 않는다면

[eqn: f'({hat z_j} ^(p) ) approx f'({hat h_j}^(p) ) ={1-h_j^(p)^2} over 2]      (26)

라고 두어도 된다. 이제 식 (25)와 (26)을 식 (22)에 대입하면

[eqn: {partial E_n^hid} over {partial w_ji} approx SUM from { { p}=1} to P zeta_p delta_j^hid ({bold x}^(p) )x_i^(p)]        (27)

와 같이 된다. 여기서,

[eqn: delta_j^hid ({bold x}^(p) ) = - {partial E^out} over {partial {hat h_j}^(p)} = beta_j^(p) f' ( {hat h_j}^(p) )]  (28)

이다. 따라서, 식 (20)은

[eqn: Delta w_ji approx eta_j^hid SUM from { { p}=1} to P zeta_p delta_j^hid ({bold x}^(p) )x_i^(p)]      (29)

와 같이 근사화 된다.

만약 이 논문에서 제안한 중간층 오차함수 식 (20) 대신에 일반적으로 사용되는 MSE를 사용하면, 중간층 가중치의 변경량은 같은 절차에 의해

[eqn: Delta w_ji approx eta_j^hid SUM from { { p}=1} to P {zeta_p} over {f' ( {hat h_j}^(p) )^2} delta_j^hid ({bold x}^(p) )x_i^(p)]  (30)

와 같이 유도된다.  식 (30)을 보면 시그모이드 함수의 기울기가 분모에 위치하는 데, 이 값이 영에 가까우면 중간층 가중치의 변경량이 급격히 증가하게 된다. 결국, 중간층 노드들이 아주 심하게 포화되어 학습에 나쁜 영향을 미친다.

IV. 시뮬레이션

제안한 방법의 효용성을 검증하기 위하여 필기체 숫자 인식 문제를 시뮬레이션하여 보았다. CEDAR 데이터베이스[11]에서 5000개의 숫자 영상을 추출하여 크기 정규화 과정을 거친 후 학습에 사용하였다. 숫자 영상의 크기는 12×12 픽셀이며 각 픽셀은 16가지 레벨의 값을 지닌다. MLP는 입력 144, 중간층 30, 출력층 10개의 노드들로 구성되었다.

MLP의 학습방법으로는 BD(Bold Driver)[5]를 이용한 EBP, DBD(Delta-Bar-Delta)를 이용한 EBP, 출력층은 LBL에 따른 학습을 수행하며 중간층은 EBP의 BD에 따른 접목방법, 일반적인 LBL 방법, 그리고, 제안한 LBL 방법과 수식 (29)로 주어진 근사화 방법을 사용하였다. BD를 이용한 EBP는 초기 학습률을 0.05로 하였고, 과 를 사용하였다. DBD의 파라미터는  로 정하였다. 그리고, 이 논문에서 제안한 학습 방법에서는 중간층 가중치들이 학습되지 않은 상황에서 출력층 가중치들이 매우 큰 값을 지니는 것을 방지하기 위하여, 학습의 두 번째 epoch 까지는 [eqn: eta_k^out]의 크기가 1을 넘지 않도록 제한하였다. 각각의 학습방법에 대하여 에서 균일분포를 지니도록 임의로 선택된 가중치들을 초기치로 하여 학습시키는 것을 4번 실시하여 평균치를 그림으로 그렸다.

그림 2(a)는 학습패턴에 대한 출력층의 MSE를 보여준다. BD와 DBD 방법은 학습률이 최적 값이 아니므로 학습속도가 느리다. 일반적인 LBL 방법은 비록 학습 초기에 MSE가 빠르게 감소하였지만 곧 학습의 정체현상이 나타났다. 비록 접목 방법에서는 학습의 정체 현상이 나타나지 않지만 학습 속도가 느리다. 이에 반하여, 제안한 LBL 방법은 빠른 학습속도를 보여준다. 그리고, 제안한 방법을 근사화 시킨 경우 시뮬레이션 결과는 학습 속도가 다소 느려졌지만 다른 방법들 보다는 빠름을 볼 수 있다.

(a) 학습패턴에 대한 MSE

(b) 시험패턴에 대한 오인식률

그림 2. 필기체 숫자 인식 시뮬레이션

그림 2(b)는 2213개의 학습시키지 않은 시험패턴에 대한 오인식률을 보여준다. 학습패턴에 대한 MSE의 경우와 마찬가지로 EBP에 근거한 방법들은 오인식률이 천천히 감소함을 볼 수 있다. 그렇지만, 제안한 방법은 오인식률이 빠르게 감소하였다. 비록 학습이 진행 될수록 시험패턴에 대한 오인식률이 증가하지만, 이것은 학습 패턴에 대한 학습이 필요 이상으로 많이 되어 시험 패턴에 대한 특성은 오히려 나빠지기 때문이다.

(a) 학습패턴에 대한 MSE

(b) 시험패턴에 대한 오인식률

그림 3. 고립단어 인식문제 시뮬레이션

더욱 더 철저한 효용성 검증을 위하여 고립단어 인식 문제도 시뮬레이션하였다. 50단어가 인식대상이며, 900개의 학습패턴에서 1024차원의 ZCPA 특징[12]을 추출 후 50개의 중간층 노드를 지닌 MLP에 학습시켰다. 그림 3은 학습패턴에 대한 MSE와 1050개의 시험패턴에 대한 오인식률을 나타내는데, 그림 2에서와 마찬가지로 제안한 방법이 다른 방법보다 훨씬 더 학습속도가 빠름을 알 수 있다. 이 그림에서도 그림 2(b)에서와 마찬가지로 학습이 진행될수록 시험패턴에 대한 오인식률이 증가하는 현상이 나타난다. 이는 학습 패턴에 대한 과도한 학습이 시험패턴에 대한 특성을 저하시키기 때문이다.

V. 결 론

이 논문에서는 MLP의 학습속도를 향상시키는 방안으로 사용되는 LBL에서 학습의 정체 현상을 해결하기 위하여 중간층 오차함수를 제안하였다. 제안한 중간층 오차함수는 출력층의 MSE 함수로부터 중간층 가중치의 학습에 관련된 부분 만을 유도하는 형태로 주어졌다. 이 새로운 중간층 오차함수는 중간층 가중치의 변경량이 중간층 노드 값의 시그모이드 함수에 위치한 영역에 따라 적절히 변하도록 하는 성질을 지녔다.

필기체 숫자 인식과 고립단어 인식 문제의 시뮬레이션으로 제안한 방법을 다른 방법들과 비교하였는데, 주장한 바와 같이 제안한 방법이 학습초기부터 MSE가 급격히 줄어듦을 확인할 수 있었다.

참 고 문 헌

[1] D. E. Rumelhart and J. L. McClelland, Parallel Distributed Processing. MIT Press, Cambridge, MA, 1986.

[2] R. A. Jacobs, "Increased rates of convergence through learning rate adaptation," Neural Networks, Vol. 1, pp. 295-307, 1988.

[3] T. P. Vogl, J. K. Mangis, A. K. Rigler, W. T. Zink, and D. L. Alkon, "Accelerating the convergence of the back-propagation method," Biol. Cybern., Vol. 59, pp. 257-263, 1988.

[4] S.-H. Oh, "Improving the error backpropagation algorithm with a modified error function," IEEE Trans. Neural Networks, Vol. 8, No. 3, pp. 799-803, 1997.

[5] A. van Ooyen and B. Nienhuis, "Improving the convergence of the back-propagagtion algorithm," Neural Networks, Vol. 5, pp. 465-471, 1992.

[6] R. Parisi, E. D. Di Claudio, G. Orlandi, and B. D. rao, "A generalized learning paradigm exploiting the structure of feedforward neural networks," IEEE Trans. Neural Networks, Vol. 7, pp. 1450-1459, 1996.

[7] G.-J. Wang and C.-C. Chen, "A fast multilayer neural networks training algorithm based on the layer-by-layer optimizing procedures," IEEE Trans. Neural Networks, Vol. 7, pp. 768-775, 1996.

[8] J. Y .F. Yam and W. S. Chow, "Extended least squares based algorithm for training feedforward networks," IEEE Trans. Neural Networks, Vol. 8, pp. 806-810, 1997.

[9] H.-H. Chen, M. T. Manry, and H. Chandrasekaran, "A neural network training algorithm utilizing multiple set of linear equations," Neurocomputing, Vol. 25, pp. 55-72, 1999.

[10] S. Ergezinger and E. Thomsen, "An accelerated learning algorithm for multilayer perceptrons: Optimization layer by layer," IEEE Trans. Neural Networks, Vol. 6, pp. 31-42, 1995.

[11] J. J. Hull, "A database for handwritten text recognition research," IEEE Trans. Pat. Ana. Mach. Int., Vol. 16, No. 5, pp. 550-554, May 1994.

[12] D.-S. Kim, S.-Y. Lee, and R. M. Kil, "Auditory processing of speech signals for robust speech recognition in real-world noisy environments," IEEE Trans. Speech and Audio Processing, Vol. 7, pp. 55-69, 1999.

저 자 소 개

오상훈(Sang-Hoon Oh)                         정회원

▪1986년 2월 : 부산대학교 전자공학과 졸업(공학사)

▪1988년 2월 : 부산대학교 대학원 전자공학과 졸업(공학석사)

▪1999년 8월 : 한국과학기술원 전기           및 전자공학과 졸업(공학박사)

▪1988년 1월 ～ 1989년 12월: LG 반도체(주) 사원

▪1990년 1월 ~ 1998년 6월: 한국전자통신연구원 기초기술연구부 및 이동통신기술연구소 선임연구원

▪1999년 8월 ~ 2000년 3월: 한국과학기술원 뇌과학연구센터 연구원

▪2000년 4월 ~ 2000년 10월: 일본 RIKEN, Brain Science Institute, Research Scientist

▪2000년 10월 ~ 20001년 10월: (주)엑스텔테크놀리지 연구소장

▪2001년 11월 ~ 2002년 2월: 한국과학기술원 초빙교수

▪2002년 3월~현재 : 목원대학교 정보통신공학부 조교수

<관심분야> : 지능정보처리 알고리즘 개발 및 IT에의 응용,  독립성분분석, 음성신호 처리