mk 공부 정리

정보 이론어떤 신호가 있다면, 신호 안에 정보가 얼마나 있는지 정량화하고자 하는 시도에서 출발한 학문통신 분야에서 최초로 발명noisy한 채널에 메시지를 보낼 때, 메시지의 평균적인 길이가 얼마인지, 메시지 내 알파벳의 분포는 어떻게 되는지 정량화된 분석을 할 수 있음.머신러닝확률분포를 characterize하는데 사용이 됨 → 확률분포를 특징지어 더 잘 이해할 수 있게 도와줌여러 확률 분포가 있다면, 그 확률분포들 사이에 similarity를 정량화하는데 사용됨. → ML에서는 서로 다른 두 데이터 패턴이 얼마나 비슷한지 알아야 할 때가 많음. 정보이론을 사용하면 두 확률분포가 얼마나 가까운지, 혹은 다른지 숫자로 정량화할 수 있음.Basic intuition굉장히 일어날 것 같지 않을 일은 일어날 것..

AI/Machine Learning 2024. 12. 8. 16:08

PCA(Principal Component Analysis)는 고차원 데이터를 저차원으로 축소하면서도 데이터의 중요한 정보(변동성)를 최대한 유지하려는 방법이다. 이를 통해 데이터의 차원 축소, 잡음 제거, 시각화 또는 데이터의 구조 분석을 할 수 있다. 데이터를 가장 큰 분산을 설명하는 방향(주성분)으로 변환하여, 차원이 축소된 저차원 공간에서 데이터의 핵심적인 패턴을 유지한다. 과정데이터 중심화:데이터의 평균을 중심화하지 않으면 공분산 행렬에 대한 분석이 왜곡될 수 있다. 평균을 중심화하지 않으면, 데이터의 분산이 실제로 원점을 기준으로 분석되지 않기 때문에, 주성분 분석에서 부정확한 결과를 초래할 수 있다. 따라서 데이터 중심화는 데이터의 분산을 정확히 분석하여 올바른 주성분을 찾기 위해 필수적이다..

AI/Machine Learning 2024. 10. 12. 19:09

a값이 클수록 기울기가 급해진다. b값은 그래프의 좌우이동을 의미한다. sigmoid(x) = 1 / ( 1 + e^(-x)) 이때 x는 ax + b형태로 표현되며, 여기서 a는 기울기를, b는 y절편을 나타낸다. 여기서 a값과 오차값은 반비례관계를 형성한다. a값이 커질 수록 sigmoid 함수의 기울기가 커지게 되는데, 이는 입력값에 대한 출력값의 변화를 더욱 민감하게 반영하게 된다. 즉, 입력값의 작은 변화에도 불구하고 출력값이 크게 변화하는 것. 이로 인해, 실제 값과 예측 값 사이의 오차가 줄어들게 되는데, 이는 모델이 데이터를 정확하게 학습하게 되어 오차를 최소화하는 효과를 가져온다. 그러나 a값이 너무 크면 Overfitting의 위험이 있으므로 적절한 a값을 찾는 것이 중요하다. 다만, 이..

AI/Machine Learning 2024. 2. 4. 13:15