Homework_week5

MLP의 구조(Architecture)를 그리시오. 단, 입력노드 수 N, 중간층 노드 수 H, 출력노드 수 M, 중간층 가중치 행렬 W, 출력층 가중치 행렬 V, 입력노드 벡터 x, 중간층 노드 벡터 h, 출력층 노드 벡터 y 임.

위와 같은 구조를 가진 MLP에서 임의의 입력 x가 주어지면, 중간층 노드 값과 출력층 노드 값이 어떻게 계산되는가? 단, tanh(.) 함수를 노드의 activation 함수로 사용하라. (Forward Propagation)

3. MLP의 출력노드 값이 2번 문제에 의해 정해지면, 그 출력노드 값의 목표벡터 t와의 오차함수가 MSE(mean-squared error) 함수 [eqn: E_m = { 1} over { 2} sum _{ k=1} ^{M } ( t_k - y_k )^2]로 주어진 경우 출력층 가중치와 중간층 가중치를 학습시키는 수식을 유도하라.(EBP Algorithm)

4. MLP가 universal approximator라고 한다. 이것이 무엇을 의미하는가?

5. MSE가 최소가 되도록 MLP를 학습시키는 경우 출력노드에서 incorrect saturation 현상이 발생한다. 이 현상은 무엇을 말하나?

6. MLP의 조기포화(premature saturation)는 어떤 현상을 말하며, 이를 피하기 위한 방법은 무엇인가?

7. 문제 5에서 언급한 incorrect saturation을 줄이기 위하여 어떤 오차함수가 사용되나?

8. Deep Neural Network은 MLP에서 크게 3가지가 변경되었다. 그 3 가지는 무엇인가?