Logistic regression - softmax function에서 굳이 지수함수?

소프트맥스 함수는 다중 클래스 분류 문제에서 로지스틱 회귀를 확장하는 방법 중 하나이다. 각 클래스에 대한 점수를 계산하고, 이를 확률로 변환해주는 역할을 한다. 

굳이 지수함수를 사용하는 주요 이유는 3가지가 있다. 

1. 비선형성 : 지수 함수는 비선형 함수이다. 비선형성은 모델이 복잡한 패턴을 학습하는데 중요하다. 선형함수를 사용하면 모델의 표현력이 제한될 수 있다. 

2. 항상 양수 : 지수 함수의 출력은 항상 양수이다. 이는 확률을 계산하는데 필요한 조건을 만족시킨다. 확률은 항상 0이상이어야 하므로, 지수 함수는 이를 보장한다.

3. 미분 가능 : 지수 함수는 모든 곳에서 미분 가능하다. 이는 경사기반의 최적화 알고리즘(ex) 경사하강법 )에서 중요한 조건이다. 이 알고리즘들은 함수의 기울기(미분)을 이용해 최적의 파라미터를 찾는다.