Homework#week12

1. PCA(Principal Component Analysis)의 기본 아이디어를 설명하시오.

2. zero-mean data [eqn: bold{x}=[x_1 , x_2 , ..., x_d ]^T]가 주어졌을 때 PCA를 통하여 k차원 data [eqn: bold{z'}=[z_1 , z_2 , ..., z_k ]^T] 로 줄이려고 한다. 그 절차를 설명하시오.

3. 2번 문제에 의해 k차원으로 축소된 [eqn: bold{z'}=[z_1 , z_2 , ..., z_k ]^T]을 다시 원 data 차원으로 복구하여 [eqn: bold{x'}=[x'_1 , x'_2 , ..., x'_d ]^T]을 만든 경우 [eqn: bold{x'}]의 표현식을 적고, [eqn: bold{e}=bold{x}-bold{x'}]과 [eqn: E[bold{e}^T bold{e}]]를 유도하시오.

4. 연습문제 10.2

5. 연습문제 10.3

6. ICA(independent component analysis) 문제를 설명하시오. 이때 어떤 가정과 제약이 존재하나?

7. [eqn: bold{X_1}, bold{X_2}]의 Mutual Information과 Joint Entropy 사이의 관계를 유도하고 이를 밴다이어그램으로 표시하시오.

8. One-input, one-output ICA network은 입력 [eqn: x]에 대하여 [eqn: u=wx+w_0]와 [eqn: y={1} over{1+e^-u}]로 출력 [eqn: y]가 계산된다. 이 경우 출력의 entropy를 최대화 시키는 [eqn: w,w_0]의 변경식을 유도하라.

9. Gradient와 Newton Method, 그리고 Natural Gradient를 타원형 혹은 원형 등고선에서 설명하시오.

10. Joint Gaussian probability density function이 [eqn: f(x,y)={1} over {2 pi sigma_1 sigma_2 sqrt{1-r^2}} exp[-{1} over{2(1-r^2 )}({(x- eta_1 )^2} over {sigma_1^2}-2r{(x-eta_1 )(y-eta_2 )} over{sigma_1 sigma_2} +{(y- eta_2 )^2} over {sigma_2^2})]] 으로  주어진다. correlation coefficient가 0이면 x와 y가 독립임을 증명하시오.

11. ICA network에서 측정벡터 [eqn: bold{x}]로부터 독립성분이 [eqn: bold{u=Wx}]로 구해졌다. 이 경우, [eqn: bold{u}=[u_1 , u_2 , ...., u_d ]^T]에서 특정 성분을 제거하고 다시 [eqn: bold{x}]를 만드는 방식을 설명하시오.

12. ANC(Adaptive Noise Cancelling) 문제에서 마이크에 입력되는 신호는 신호원과 잡음원의 합에 의해 [eqn: x(n)=s(n)+r_0 (n)]와 같이 주어진다. 시스템의 출력은 [eqn: x(n)]에서 필터의 출력 [eqn: z(n)=sum_{k=1}^L w(k) r_1 (n-k)]을 제거하여 [eqn: u(n)=s(n)+r_0 (n)- sum_{k=1}^L w(k) r_1 (n-k)]와 같이 주어진다. ICA 방법으로 필터의 학습식 [eqn: Delta w(k)]를 유도하라.(힌트: dummy variable [eqn: nu = r_1]을 도입하라.

그림. ANC에서 입력과 출력