K-Fold Cross Validation - 성능 평가의 단계

K-Fold Cross Validation에 대한 원리는 이해했으나 성능 평가의 단계에서 의문점이 생겼다.

구글링 등 많은 자료를 찾아봤지만 원리는 설명되어 있는데 성능 평가의 단계를 기술한 자료를 단 하나도 찾지 못했다.

결국 인공지능 단톡방의 도움을 받아 문제를 해결했다..

 

K-Fold Cross Validation의 성능 평가의 단계 

1. 만든 모델에 k-fold 교차검증을 수행한다.
2. train set점수와 vaild set의 점수를 비교한다.
   • 여기서 점수의 평균을 가지고 비교할수도 있고, 각 k개의 점수들을 가지고 비교할 수도 있다.
3. 만약 과적합 등의 문제가 발생했다면 모델을 다시만드는 등의 작업을 수행한다.
4. 다시 k-fold 교차 검증을 수행하고 점수를 비교했을 때 과적합등의 문제가 발생하지 않았다면 test set로 최종 검증해본다

4번 과정에서 train과 test set는 분리만 잘했다면 1번의 train set와 test set를 그대로 사용하면 된다! 

 

첨언하자면,

• 결국에 그냥 일반 검증만 했을 때는 vaild set가 잘 뽑혀서 성능이 좋은 것일 수도 있으므로 교차 검증을 통해 여러번 검사해보는 것이다! 

이 과정을 알아보며 알게 된 추가적인 용어

• cheating : 학습과정에서 보지말아야 할 test set를 학습하거나 inference 과정에서 보지 말아야 할 feature를 전달받는 등의 과정.