주성분분석 (PCA, Principal Component Anlysis) - 수직이 아닌 방향들 중에서 수직 방향인 축보다 분산이 더 클 수 있는가?

첫 번째 주성분과 수직이 아닌 어떤 벡터가 첫 번째 주성분과 수직인 벡터보다 더 큰 분산을 가질 수 있다.

왜냐하면 그 벡터가 첫 번째 주성분과 수직이 아니기 때문에 첫 번째 주성분이 가진 정보를 일부 포함할 수 있고, 그 추가적인 정보 때문에 분산이 더 클 수 있다.

그러나 주성분 분석에서는 이렇게 첫 번째 주성분과 수직이 아닌 벡터를 두 번째 주성분으로 선택하지 않는다. 왜냐하면 그 벡터가 첫 번째 주성분과 겹치는 정보를 가지고 있을 가능성이 있으므로, 이는 주성분 분석의 목적인 '각 주성분이 가능한 한 많은 새로운 정보를 담게 하는 것'을 위배하기 때문이다.

따라서 두 번째 주성분은 첫 번째 주성분과 수직인 벡터 중에서 가장 분산이 큰 벡터를 선택하게 된다.