Homework#Week3

Classification과 Regression에 대하여 설명하라.

2. k-Nearest Neighbor Algorithm에 대하여 설명하라. 즉, 입력이 들어오면 classification과 regression의 경우 각각 어떻게 출력이 결정되는지 설명하라. 이때, distance measure는 어떤 것이 이용되나?

3. [eqn: ( x_1 , x_2 )] 공간 상의 점 [eqn: ( alpha_1 , alpha_2 )^T]를 vector [eqn: ( w_1 , w_2 )^T]으로 projection한다. 이 경우 projection 결과는 어떻게 주어지나?

4. LDA에서 data point를 projection할 경우 어떻게 projection하면 classification에 좋은지를 Fisher’s criteria라고 한다. Fisher’s criteria는 projection이 어떤 성질을 지니도록 제안한 것인가?

5. Bayes optimal classifier는 어떤 입력이 특정 class에 속할 확률이 최대가 되도록 결정한다. 즉, [eqn: arg max _{ C_k} P(C_k | x)]이다. 한편 , Minimum risk classifier는 [eqn: arg min _{ alpha_k} R(alpha_k | x)]로 결정한다. 이때 risk [eqn: R(alpha_k | x)]는 어떻게 정의되나? 또한 0/1 Loss인 경우 Minimum risk classifier와 Bayes optimal classifier는 어떤 관계가 있나?

6. Linear discriminant function [eqn: g(x)= sum _{ i=1} ^{d } w_i x_i + w_0] 으로 주어진다. d=2인 경우에 [eqn: w_0 =1, w_1 = 1, w_2 =1]이면  [eqn: ( x_1 , x_2 )] 공간 상에서 [eqn: g(x)]가 0인 직선과, 양인 영역, 음인 영역이 어떻게 되는 지 [eqn: ( x_1 , x_2 )] 좌표 상에서 그림을 그려라.

7. Linear Output을 가지는 Single Layer Perceptron의 출력이 [eqn: y= sum _{ i=1} ^{d } w_i x_i + w_0]로 결정된다. 이 경우 원하는 출력이 t이고, mean-squared error(MSE)가 [eqn: E = { 1} over {2 } (t-y)^2]으로 주어지면, weight 변경식 [eqn: Delta w_i = eta LEFT ( - { PARTIAL E } over {partial w_i } RIGHT )]는 어떻게 되는지 유도하라.

8. Sigmoid Output을 가지는 Single Layer Perceptron의 출력이 [eqn: hat { y} = sum _{ i=1} ^{d } w_i x_i + w_0]를 계산후 [eqn: y= { 1} over {1+exp(- hat{y}) }]로 결정된다. 이 경우 원하는 출력이 t이고, mean-squared error(MSE)가 [eqn: E = { 1} over {2 } (t-y)^2]으로 주어지면, weight 변경식 [eqn: Delta w_i = eta LEFT ( - { PARTIAL E } over {partial w_i } RIGHT )]는 어떻게 되는지 유도하라.