mk 공부 정리

PCA(Principal Component Analysis)는 고차원 데이터를 저차원으로 축소하면서도 데이터의 중요한 정보(변동성)를 최대한 유지하려는 방법이다. 이를 통해 데이터의 차원 축소, 잡음 제거, 시각화 또는 데이터의 구조 분석을 할 수 있다. 데이터를 가장 큰 분산을 설명하는 방향(주성분)으로 변환하여, 차원이 축소된 저차원 공간에서 데이터의 핵심적인 패턴을 유지한다. 과정데이터 중심화:데이터의 평균을 중심화하지 않으면 공분산 행렬에 대한 분석이 왜곡될 수 있다. 평균을 중심화하지 않으면, 데이터의 분산이 실제로 원점을 기준으로 분석되지 않기 때문에, 주성분 분석에서 부정확한 결과를 초래할 수 있다. 따라서 데이터 중심화는 데이터의 분산을 정확히 분석하여 올바른 주성분을 찾기 위해 필수적이다..

AI/Machine Learning 2024. 10. 12. 19:09

손실함수(Loss function, h(θ)) 실제 y 값에 비해 가정한 모델 hθ​ 의 y^​(=hθ​(x))(추정값)이 얼마나 잘 예측했는지 판단하는 함수이다. 다음과 같은 식을 손실함수(Loss function)이라고 부른다. SE(Squared Error, 제곱 오차): (y−y^​)2 AE(Absolute Error, 절대 오차): ∣y−y^​∣ log loss : y⋅log(y^​)+(1−y)⋅log(1−y^​) (* 하지만 logloss는 비용함수 형태로 더 많이 사용된다.) 이 값들은 주로 값의 수준에서 논하는 값이다. 모델을 학습할때 사용하는 데이터(관측치)는 하나의 값이 아닌 N개로 이루어져있다. 바로 다음에서 논할 비용함수(Cost function)은 이와 같은 손실함수의 평균으로 정..

AI/Machine Learning 2024. 3. 13. 16:25

K-Fold Cross Validation에 대한 원리는 이해했으나 성능 평가의 단계에서 의문점이 생겼다. 구글링 등 많은 자료를 찾아봤지만 원리는 설명되어 있는데 성능 평가의 단계를 기술한 자료를 단 하나도 찾지 못했다. 결국 인공지능 단톡방의 도움을 받아 문제를 해결했다.. K-Fold Cross Validation의 성능 평가의 단계 만든 모델에 k-fold 교차검증을 수행한다. train set점수와 vaild set의 점수를 비교한다. 여기서 점수의 평균을 가지고 비교할수도 있고, 각 k개의 점수들을 가지고 비교할 수도 있다. 만약 과적합 등의 문제가 발생했다면 모델을 다시만드는 등의 작업을 수행한다. 다시 k-fold 교차 검증을 수행하고 점수를 비교했을 때 과적합등의 문제가 발생하지 않았다면..

AI/Machine Learning 2024. 3. 13. 15:09

sklearn.model_selection: 모델 선택 Cross-validation: evaluating estimator performance, Tuning the hyper-parameters of an estimator 그리고 Learning curve 섹션을 참고할 것. (scikit-learn.org) 분할기 클래스들 model_selection.GroupKFold([n_splits]) : 중첩되지 않는 그룹을 가진 K-fold 반복자 변형 model_selection.GroupShuffleSplit([...]) : Shuffle-Group(s)-Out 교차 검증 반복자 model_selection.KFold([n_splits, shuffle, ...]) : K-Fold 교차 검증기 model..

AI/Machine Learning 2024. 3. 4. 21:42

PCA의 목적은 고차원 데이터에서 가장 중요한 정보를 캡처하는 새로운 특성을 찾는 것이다. 이 과정에서 차원 축소를 하는 것. 이렇게 하면 모델의 복잡성이 줄어들고, 계산 시간이 단축되며, 과적합을 피할 수 있다. 하지만 PCA의 경우, 원래의 특성 공간에서 새로운 특성 공간으로의 변환은 선형이기 때문에 이 변환은 역으로도 가능하다. 즉, PCA로 차원을 줄인 후에도, 이를 다시 원래의 차원으로 복원할 수 있다. 이를 '재구성'이라고 한다. 그러나 주의할 점은, PCA를 통해 차원을 축소한 후에 다시 원래의 차원으로 복원하면, 원래의 데이터와 완벽히 일치하는 것이 아니라는 점이다. 차원 축소 과정에서 일부 정보가 손실되기 때문이다. 즉, 재구성된 데이터는 원래 데이터의 근사치일 뿐이다. PCA로 차원을 ..

AI/Machine Learning 2024. 2. 14. 20:16

주성분 분석의 방법론 상 각 주성분이 그들에게 수직인 방향 중에서 분산을 최대화하는 방향을 찾는다는 것이지, 첫 번째 주성분에 수직인 모든 방향의 분산이 첫 번째 주성분의 분산보다 작다는 것을 의미하지는 않는다. 첫 번째 주성분에 수직인 방향 중에는 첫 번째 주성분의 분산보다 큰 분산을 가진 방향이 존재할 수 있다. 하지만 PCA의 목적은 전체 데이터의 분산을 가장 잘 설명하는 주성분들을 찾는 것이기 때문에, 이런 경우에도 첫 번째 주성분이 가장 많은 정보를 담고 있는 방향으로 선택된다.

AI/Machine Learning 2024. 2. 13. 19:42

첫 번째 주성분과 수직이 아닌 어떤 벡터가 첫 번째 주성분과 수직인 벡터보다 더 큰 분산을 가질 수 있다. 왜냐하면 그 벡터가 첫 번째 주성분과 수직이 아니기 때문에 첫 번째 주성분이 가진 정보를 일부 포함할 수 있고, 그 추가적인 정보 때문에 분산이 더 클 수 있다. 그러나 주성분 분석에서는 이렇게 첫 번째 주성분과 수직이 아닌 벡터를 두 번째 주성분으로 선택하지 않는다. 왜냐하면 그 벡터가 첫 번째 주성분과 겹치는 정보를 가지고 있을 가능성이 있으므로, 이는 주성분 분석의 목적인 '각 주성분이 가능한 한 많은 새로운 정보를 담게 하는 것'을 위배하기 때문이다. 따라서 두 번째 주성분은 첫 번째 주성분과 수직인 벡터 중에서 가장 분산이 큰 벡터를 선택하게 된다.

AI/Machine Learning 2024. 2. 13. 19:38

데이터의 분산이 정보를 보존하는데 중요한 역할을 하는 이유는 분산이 데이터가 얼마나 퍼져 있는지를 나타내는 척도이기 때문이다. 분산이 크다는 것은 데이터 값들이 평균에서 멀리 떨어져 분포하고 있다는 것을 의미한다. 이는 데이터 내에 다양한 정보가 많이 담겨 있다는 것을 뜻하며, 이런 정보는 데이터 간의 차이나 데이터의 특징 등을 나타내는 데 사용될 수 있다. 따라서, 주성분 분석(PCA)에서는 원본 데이터의 분산(즉, 정보)을 최대한 보존하는 축을 찾아야 한다. 만약 분산이 최대화되는 축이 아닌 다른 축을 선택한다면, 그 축에서의 데이터 분포는 원본 데이터의 분산보다 작아지게 된다. 이는 원본 데이터의 정보 일부가 손실되었다는 것을 의미하며, 이런 정보 손실은 데이터 분석의 정확도를 떨어뜨릴 수 있다. ..

AI/Machine Learning 2024. 2. 13. 19:33