[Foundation of Deep Learning] 1. Artificial intelligence

AI

 Artificial Intelligence(AI)의 발전과 함께 현대 사회는 거대한 변화의 흐름 속에 놓이게 되었다. 인공지능의 급속한 성장은 더 이상 일부 전문가들만의 논의에 머무르지 않는다. 일상 속 다양한 서비스는 물론 산업 전반에 이르기까지 AI는 이미 우리의 선택과 판단 과정에 깊숙이 관여하고 있으며, 그 영향력은 앞으로 더욱 확대될 것으로 예상된다. 이러한 시대적 변화 속에서 중요한 것은 단순히 AI를 ‘활용하는 것’을 넘어, 그것이 어떠한 원리로 작동하는지를 이해하는 일이다. 특히 오늘날 인공지능 기술의 핵심이라 할 수 있는 딥러닝은 이러한 흐름을 주도하는 중심축으로서, AI의 가능성과 한계를 동시에 설명해 주는 핵심 개념이라 할 수 있다.

 

 AI란 합리적으로 사고하고 행동하는 인간처럼 판단하거나 반응할 수 있도록 설계된 기계를 의미한다. 즉, 인간이 지닌 지능적 능력을 기계가 모방하도록 하여 학습을 기반으로 추론, 판단, 문제 해결, 언어 이해 등 다양한 인간의 작업(task)을 수행하게 만드는 기술 분야라 할 수 있다.

 

 초기의 기계는 계산과 같이 명확하게 정의된 정형적 작업에는 강점을 보였으나, 글쓰기나 객체 인식(object detection)처럼 인간에게는 비교적 수월한 작업에 대해서 뚜렷한 한계를 드러냈다. 이러한 한계로 인해 초기 인공지능 연구는 인간의 사고 과정을 그대로 구현하기보다는, 주어진 조건 안에서 가장 합리적인 선택을 수행하는 시스템을 만드는 방향으로 발전하게 되었다. 이와 같은 접근은 당시 computational rationality라는 개념을 통해 이론적으로 정리되었다.

 

 Rationality라는 개념은 적용되는 분야에 따라 서로 다른 의미로 해석될 수 있다. 공학적 관점에서의 합리성이란 일반적으로 기대 효용(expected utility)을 최대화하는 것을 의미한다. 현실 세계의 문제는 언제나 불확실성과 확률적(stochastic) 요소를 포함하고 있기 때문에, 인공지능 시스템은 실제 결과가 아니라 ‘기대되는 결과’를 기준으로 의사 결정을 수행하게 된다.

 

 예를 들어 비트코인 금융 투자 인공지능은 이윤의 극대화를 목표로 설계되지만, 금융 시장은 본질적으로 예측이 어렵고 변동성이 크다. 따라서 해당 시스템은 확정적인 이익을 전제로 행동하는 것이 아니라, 불확실성을 고려한 기대 수익을 기반으로 판단을 내리게 된다.

 

 이처럼 초기 인공지능은 합리성에 기반한 의사 결정 구조를 통해 인간의 판단을 모방하고자 하였으며, 이러한 환경 속에서 인공지능 연구는 제한된 조건 안에서도 얼마나 인간에 가까운 수준의 판단과 행동을 구현할 수 있는가를 하나의 중요한 평가 기준으로 삼아 왔다.

 

 그러나 이러한 방식은 사람이 사전에 정의한 규칙과 모델에 크게 의존한다는 점에서 한계를 지닌다. 현실 세계는 지나치게 복잡하고 예외적인 상황이 많아, 모든 판단 기준을 인간이 미리 설계하는 것은 사실상 불가능하기 때문이다.

 

 이러한 한계를 극복하기 위해 등장한 것이 바로 학습 기반 접근 방식이다. 기존의 규칙 기반 인공지능과 달리, 학습 기반 접근은 명시적인 규칙을 일일이 정의하는 대신 대규모 데이터를 통해 기계가 스스로 패턴을 학습하도록 한다. 이를 통해 문제 해결 방식은 설계 중심에서 경험 중심으로 전환되기 시작하였다.

 

 이 방식에서는 인간이 ‘어떻게 판단해야 하는가’를 직접 규정하기보다, 충분한 경험 데이터를 제공함으로써 기계가 자체적인 의사 결정 구조를 형성하도록 한다. 그 결과, 과거에는 규칙 기반 시스템으로는 접근조차 어려웠던 이미지 인식, 음성 처리, 자연어 이해와 같은 영역에서 비약적인 성능 향상이 가능해졌다. 이러한 변화는 인공지능의 중심을 설계 중심의 사고에서 데이터와 학습 중심의 사고로 이동시키는 결정적인 전환점이 되었으며, 그 핵심에 바로 머신러닝과 딥러닝이 자리하고 있다.

 

Comparison of ML, Represent Learning, DL

 

 

 Deep learning은 Artificial Intelligence(AI)의 하위 개념에 해당한다. 전체 구조를 살펴보면, AI라는 큰 범주 안에 머신러닝(machine learning)이 존재하고, 머신러닝 내부에는 표현 학습(representation learning)이 있으며, 그중에서도 다층 구조를 가지는 학습 방식이 바로 딥러닝(deep learning)이다.

 

 초기의 인공지능 시스템은 머신러닝이 아닌 규칙 기반(rule-based) 시스템이었다. 이러한 방식에서는 사람이 직접 규칙을 설계하여 프로그램을 작성하였으며, 대표적으로 if–else 문과 같은 명시적 조건문을 통해 시스템이 동작하도록 구성되었다. 즉, 문제 해결 과정 전체가 인간에 의해 hand-designed 되었던 것이다. 이러한 접근 방식의 대표적인 예로는 knowledge base 시스템이 있다.

 

 그러나 규칙 기반 시스템은 현실 세계의 복잡성을 충분히 반영하기 어렵다는 근본적인 한계를 지닌다. 실제 환경에서는 예외 상황이 끊임없이 발생하며, 모든 경우를 포괄하는 완전한 규칙 집합을 구성하는 것은 사실상 불가능하다. 결국 rule-based 시스템은 규칙에 의해 연역적으로(deductive) 동작하기 때문에 예외에 취약하며, 확장성과 일반화 능력에 한계를 보이게 된다.

 

 이러한 한계를 보완하기 위한 시도로 등장한 것이 고전적 머신러닝(classic machine learning)이다. 머신러닝은 흔히 learn from data라는 표현으로 설명되며, 이는 사람이 모든 규칙을 명시적으로 정의하는 대신, 데이터로부터 입력과 출력 사이의 관계를 자동으로 학습하도록 하는 접근 방식이다. 즉, 인공지능의 동작 규칙을 사람이 직접 작성하는 것이 아니라, 데이터 자체가 규칙을 형성하도록 하는 방향으로 패러다임이 전환된 것이다.

 

 고전적 머신러닝에서는 여전히 인간이 중요한 역할을 수행한다. 원시 입력 데이터를 그대로 사용하는 것이 아니라, 문제 해결에 의미 있다고 판단되는 특징(feature)을 사람이 직접 설계하여 모델의 입력으로 제공한다. 이후 학습 알고리즘은 이러한 feature 공간 위에서 입력과 출력 사이의 관계를 가장 잘 근사하는 함수(mapping function)를 데이터로부터 학습하게 된다. 이러한 방식의 대표적인 예로는 logistic regression이 있다.

 

 그러나 이 접근 역시 구조적인 한계를 지닌다. 어떤 feature가 중요한지를 사람이 사전에 결정해야 하며, feature engineering의 품질이 전체 시스템 성능을 크게 좌우하게 된다. 다시 말해, 규칙 학습은 자동화되었지만, 표현(representation) 자체는 여전히 인간의 직관과 경험에 의존하고 있었던 것이다.

 

 이러한 한계를 극복하기 위해 등장한 개념이 바로 representation learning이다. 표현 학습은 사람이 feature를 직접 설계하는 대신, 모델이 데이터로부터 유용한 feature 자체를 자동으로 학습하도록 하는 방식이다. 입력 데이터를 보다 의미 있는 표현 공간으로 변환하는 과정까지 학습의 대상으로 포함시킨다는 점에서 기존 머신러닝보다 한 단계 발전한 접근이라 할 수 있다. 대표적인 예로는 shallow autoencoder가 있다.

 

 이후 데이터의 대규모 증가와 GPU 연산 성능의 비약적인 발전으로 인해, 이러한 표현 학습을 여러 계층(layer)으로 쌓아 수행하는 것이 가능해졌다. 이와 같이 표현 학습을 계층적으로 수행하는 방식이 바로 딥러닝(deep learning)이다.

 

 딥러닝은 신경망(neural network)을 기반으로 구현되며, 대표적인 구조로는 multi-layer perceptron(MLP)이 있다. MLP의 hidden layer에 존재하는 각 뉴런은 하나의 학습된 비선형 특징(nonlinear feature)을 표현하기 위한 basis function으로 해석할 수 있다. 이러한 신경망은 입력 공간에서 출력 공간으로의 비선형 변환(space-to-space mapping)을 수행하며, 다층 구조(layer stacking)를 통해 점점 더 추상적인 표현을 학습하게 된다.

 

 이러한 특성으로 인해 신경망은 universal function approximator, vector transformer, 혹은 vector mapper로 불리기도 한다.

이와 같은 기술적 발전을 통해, 과거에는 컴퓨터가 처리하기 어려웠던 문제들을 기계가 수행할 수 있게 되기 시작하였다. 즉, 오늘날 인공지능의 주요 연구 대상은 인간에게는 비교적 쉬우나 컴퓨터에게는 어려웠던 작업(task)을 해결하는 방향으로 확장되었으며, 그 중심에 딥러닝이 자리하고 있다.

 

Three waves of Deep Learning development

딥러닝의 역사는 하나의 연속된 발전 과정이라기보다, 여러 차례의 도약과 침체를 거치며 형성된 세 단계의 흐름으로 이해할 수 있다.

 

첫 번째 물결은 1940~1950년대의 cybernetics시기로, 이 시기의 연구는 주로 신경과학(neuroscience)을 기반으로 진행되었다. 인간의 신경세포 구조를 수학적으로 모사하려는 시도 속에서 가장 초기의 인공 뉴런 모델인 퍼셉트론(perceptron)이 제안되었으며, 오차(error)를 이용해 가중치를 갱신하는 학습 규칙인 Delta Rule, 그리고 손실(loss)을 최소화하기 위해 기울기 방향으로 파라미터를 반복적으로 업데이트하는 확률적 경사 하강법(SGD, Stochastic Gradient Descent)이 등장하였다.

 

 그러나 이 시기의 모델들은 모두 선형(linear) 모델에 기반하고 있었기 때문에, XOR 문제와 같이 선형적으로 분리될 수 없는 문제를 해결하지 못하는 근본적인 한계를 지녔다. 이로 인해 인공신경망 연구는 한동안 정체기를 맞이하게 되었다.

 

 두 번째 물결은 1980~1990년대의 connectionism 시기로, 인지과학(cognitive science)을 이론적 토대로 발전하였다. 이 시기에는 여러 개의 인공 뉴런을 다층 구조로 연결함으로써 단층 모델이 지니던 비선형성의 한계를 극복할 수 있게 되었다. 이를 통해 보다 복잡한 결정 경계(decision boundary)를 학습하는 것이 가능해졌으며, 신경망의 표현 능력은 이전보다 크게 향상되었다.

 

 또한 하나의 개념을 단일 뉴런이 아닌 여러 뉴런의 조합으로 표현하는 분산 표현(distributed representation) 개념이 도입되면서, 지식 표현 방식에 대한 이해 역시 확장되었다. 더 나아가 체인 룰(chain rule)을 이용해 출력층의 오차를 입력층 방향으로 전달하며 가중치를 갱신하는 역전파 알고리즘(backpropagation)이 제안되었고, 이는 이후 인공신경망 학습의 핵심 메커니즘으로 자리 잡게 되었다

 

 세 번째 물결은 2006년을 기점으로 본격화되었으며, 이 시기부터 딥러닝(deep learning)이라는 용어가 널리 사용되기 시작하였다. 대규모 데이터와 연산 자원의 발전을 바탕으로, 신경망은 단순한 분류기를 넘어 데이터의 내재된 구조와 확률 분포 자체를 학습하는 방향으로 확장되었다. 이 과정에서 RBM(Restricted Boltzmann Machine)을 기반으로 한 비지도 학습(un­supervised learning) 방식의 생성형 신경망이 제안되었으며, 이후 딥러닝 연구의 중요한 전환점이 되었다.

 

 또한 이미지의 공간적 구조에 특화된 신경망 구조인 합성곱 신경망(CNN, Convolutional Neural Network)이 등장하면서, 시각 인식 분야에서 획기적인 성능 향상이 이루어졌다. 이를 계기로 딥러닝은 음성 인식, 이미지 인식, 자연어 처리 등 다양한 영역에서 핵심 기술로 자리 잡게 되었다.

 

Deep learning is in its prime time

 오늘날 딥러닝이 비약적인 성과를 보이게 된 배경에는 세 가지 핵심 요인이 존재한다. 대규모 데이터의 축적, GPU를 기반으로 한 병렬·분산 연산 환경의 발전, 그리고 학습 알고리즘의 지속적인 개선이 결합되면서, 과거에는 이론적으로만 가능했던 딥러닝 모델이 실제 문제 해결에 효과적으로 활용될 수 있는 환경이 마련되었다.