머신러닝 회귀에서 최적의 회귀식을 찾을 때 최소제곱법을 쓰지 않고 굳이 경사하강법을 쓰는 이유?

최소제곱법과 경사하강법은 회귀식을 찾는 두 가지 주요 방법이다. 두 방법 중에 하나를 선택하는 이유는 주로 데이터의 크기와 특성, 그리고 문제의 복잡성에 따라 달라진다.

 

- 최소제곱법 : 수학적으로 간단하고 직관적이다. 하지만 이 방법은 모든 데이터를 메모리에 한 번에 불러와야 하기 때문에, 데이터 크기가 매우 큰 경우에는 비효율적일 수 있다. 또한, 최소제곱법은 선형 회귀 모델에만 적용될 수 있으며, 비선형 회귀 문제에는 적합하지 않다.

 

- 경사하강법 : 각 단계에서 데이터의 작은 배치를 사용하여 모델을 업데이트한다. 이는 대용량 데이터를 처리하는데 효과적이다. 또한, 경사하강법은 비선형 회귀 모델, 심지어는 심층 신경망과 같은 복잡한 머신러닝 모델에도 적용될 수 있다.

 

따라서, 데이터의 크기가 크거나 문제가 비선형이거나 복잡한 경우, 경사하강법이 최소제곱법보다 더 적합할 수 있다.

이러한 이유로, 머신러닝에서는 최소제곱법 대신 경사하강법을 사용하는 경우가 많다.