kNN 회귀 - 과소적합 해결 방법

과대적합이란? 

모델이 훈련세트에만 최적화되어 새로운 테스트 세트로 성능 평가 했을 때 훈련 세트에만 점수가 높게 나오고 테스트 세트에는 점수가 낮게 나오는 경우

과소적합이란?

모델이 훈련세트에 덜 학습되어 테스트 세트에 비해 성능 평가 점수가 낮거나 테스트세트, 훈련세트 모두 점수가 낮게 나오는 경우

 

만약 kNN 회귀에서 과소적합 상황이 나온다면? -> 모델을 좀 더 복잡하게 만들면 됨! 

모델이 복잡하게 만든다는 것은 모델에 학습을 좀 더 시켜준다는 뜻이다! ( 당연하다. 훈련세트에 덜 학습되어 과소적합 상황이 나오는 것 )

그렇다면 kNN 회귀에서 모델을 복잡하게 만드는 방법?

이웃의 개수를 좀 더 줄이면 된다! 

여기서 헷갈릴 수 있지만, 과소적합의 정의와 kNN 회귀의 방법론을 생각하면 쉽다.

 

이웃의 갯수가 상대적으로 작을 때 예측한 값을 모두 연결한 그래프와 이웃의 갯수가 상대적으로 클 때 예측한 그래프를 비교해보면 이웃의 갯수가 상대적으로 클 때 예측한 그래프가 좀 더 단순하다!

 

샘플의 갯수가 42인 상황에서 이웃의 갯수가 3인 경우와 42인 경우를 생각하면 쉽다.

 

즉. kNN회귀에서 이웃의 갯수와 모델의 복잡도는 반비례한다!