mk 공부 정리

Probability Space

확률론은 불확실한 현상을 수학적으로 모델링하기 위한 강력한 도구이다. 불확실한 사건들을 체계적으로 분석하고 예측하기 위해 Probability Space의 개념은 필수적이다. 본 글에서는 Probability Space의 정의와 그 구성 요소를 소개하며, Statistical(random) experiment, Sample space, Event 등의 기본 개념과 함께 σ-field와 probability set function의 정의를 설명한다.1. Concepts1.1. Statistical(random) experimentStatistical(random) experiment란, 실험을 수행하기 전에는 결과를 확실하게 예측할 수 없는 실험을 의미한다. 즉, 실험의 결과가 무작위적으로 결정되며 불확실..

Point Function과 Set Function

확률 이론의 기초를 이해하기 위해서는 "Point Function(점 함수)"과 "Set Function(집합 함수)"의 차이를 명확히 이해할 필요가 있다. 이 두 개념은 각각 점이나 집합을 정의역으로 가지는 함수로, 확률 이론과 통계적 분석에서 중요한 역할을 한다. 1. Point Function(점 함수)Point Function은 정의역이 특정 점으로 구성된 함수이다. 이는 보통 수학적 공간의 점을 입력으로 받아 값을 산출한다.f : D → ℝ, x ↦ f(x),여기서 D ⊆ ℝⁿ은 점들로 이루어진 정의역이고, ℝ은 공역이다.Point Function은 정의역 내의 각 점에서 독립적으로 값을 정의하며, 특정 상태에서의 결과를 계산하는 데 사용된다.1차원에서 f(x) = x²2차원에서 f(x, y) ..

좌표 함수가 Dual Space의 ordered basis임을 증명

좌표함수가 Dual Space의 Ordered Basis임을 증명 좌표함수가 \( V^* \)의 원소임을 확인 좌표함수 \( f_i \)는 \( v \in V \)에 대해 다음과 같은 선형성을 만족한다. \[ f_i(v + w) = f_i(v) + f_i(w), \quad f_i(cv) = c f_i(v). \] 따라서, \( f_i \in V^* \)임이 증명된다. 좌표함수들이 \( V^* \)의 기저임을 확인 Dual space \( V^* \)의 기저란 \( V^* \)의 모든 원소가 이 기저의..

Information Theory

정보 이론어떤 신호가 있다면, 신호 안에 정보가 얼마나 있는지 정량화하고자 하는 시도에서 출발한 학문통신 분야에서 최초로 발명noisy한 채널에 메시지를 보낼 때, 메시지의 평균적인 길이가 얼마인지, 메시지 내 알파벳의 분포는 어떻게 되는지 정량화된 분석을 할 수 있음.머신러닝확률분포를 characterize하는데 사용이 됨 → 확률분포를 특징지어 더 잘 이해할 수 있게 도와줌여러 확률 분포가 있다면, 그 확률분포들 사이에 similarity를 정량화하는데 사용됨. → ML에서는 서로 다른 두 데이터 패턴이 얼마나 비슷한지 알아야 할 때가 많음. 정보이론을 사용하면 두 확률분포가 얼마나 가까운지, 혹은 다른지 숫자로 정량화할 수 있음.Basic intuition굉장히 일어날 것 같지 않을 일은 일어날 것..

수학의 증명

수학 증명은 주어진 명제(문제 또는 주장)가 참임을 논리적으로 입증하는 과정이다. 수학의 증명을 위해 여러 가지 접근 방법과 기술이 있으며, 증명의 기본적인 구조와 단계는 다음과 같다. 문제 이해증명할 명제나 문제를 정확히 이해해야 한다. 명제의 조건과 결론을 분명하게 파악하고, 명제가 참일 때와 거짓일 때를 구분해야한다.필요한 정의 및 정리 확인증명 과정에서 사용할 수 있는 정의와 정리를 미리 확인해 두면 유용하다. 어떤 개념이 증명 과정에 필요한지 미리 이해하고, 필요한 전제나 이미 증명된 결과를 적절히 활용할 수 있어야 한다. 증명 방법 선택: 상황에 따라 다양한 증명방법을 선택할 수 있다. 직접 증명: 명제의 조건에서 출발하여 논리적으로 결론을 이끌어내는 방법간접 증명 (귀류법): 명제가 거짓이라..