Homework#Week3

1. Bayes optimal classifier는 어떤 입력이 특정 class에 속할 확률이 최대가 되도록 결정한다. 즉, [eqn: arg max _{ C_k} P(C_k | x)]이다. 한편 , Minimum risk classifier는 [eqn: arg min _{ alpha_k} R(alpha_k | x)]로 결정한다. 이때 risk [eqn: R(alpha_k | x)]는 어떻게 정의되나? 또한 0/1 Loss인 경우 Minimum risk classifier와 Bayes optimal classifier는 어떤 관계가 있나?

2. Linear discriminant function [eqn: g(x)= sum _{ i=1} ^{d } w_i x_i + w_0] 으로 주어진다. d=2인 경우에 [eqn: w_0 =1, w_1 = 1, w_2 =1]이면  [eqn: ( x_1 , x_2 )] 공간 상에서 [eqn: g(x)]가 0인 직선과, 양인 영역, 음인 영역이 어떻게 되는 지 [eqn: ( x_1 , x_2 )] 좌표 상에서 그림을 그려라.

3. Linear Output을 가지는 Single Layer Perceptron의 출력이 [eqn: y= sum _{ i=1} ^{d } w_i x_i + w_0]로 결정된다. 이 경우 원하는 출력이 t이고, mean-squared error(MSE)가 [eqn: E = { 1} over {2 } (t-y)^2]으로 주어지면, weight 변경식 [eqn: Delta w_i = eta LEFT ( - { PARTIAL E } over {partial w_i } RIGHT )]는 어떻게 되는지 유도하라.

4. Sigmoid Output을 가지는 Single Layer Perceptron의 출력이 [eqn: hat { y} = sum _{ i=1} ^{d } w_i x_i + w_0]를 계산후 [eqn: y= { 1} over {1+exp(- hat{y}) }]로 결정된다. 이 경우 원하는 출력이 t이고, mean-squared error(MSE)가 [eqn: E = { 1} over {2 } (t-y)^2]으로 주어지면, weight 변경식 [eqn: Delta w_i = eta LEFT ( - { PARTIAL E } over {partial w_i } RIGHT )]는 어떻게 되는지 유도하라.

5. 연습문제 4.1

6. 연습문제 4.2

7. 연습문제 4.3

8. 연습문제 4.6 (힌트 예제 4.3-1)