Week 1. AI의 세계

인공지능이라는 큰 숲을 한 바퀴 둘러보고, 가장 단순하지만 강력한 분류기를 직접 손으로 굴려봅니다.

이번 주에 배우는 것

AI · ML · DL의 포함 관계
지도학습과 비지도학습, 분류와 회귀
가장 단순한 분류기: K-최근접 이웃 (KNN)
거리 척도: 유클리드 vs 맨해튼
scikit-learn 코드 한 줄 체험
13주차 전체 로드맵

0. 들어가며 — 왜 하필 지금 AI인가

인공지능이라는 말은 1956년 다트머스 회의에서 처음 공식화됐습니다. 존 매카시, 마빈 민스키, 클로드 섀넌 같은 전설적 인물들이 "생각하는 기계를 만들 수 있다"고 선언한 그 여름의 낙관론은, 이후 70년간 두 번의 "AI 겨울"을 겪습니다. 1970년대에는 기호주의(symbolic AI)가 현실 세계의 모호함을 감당하지 못해 무너졌고, 1980년대 말 전문가 시스템의 유지비용이 폭발하면서 두 번째 겨울이 왔습니다. 신경망도 예외가 아니어서, 1969년 민스키-파퍼트의 Perceptrons 책이 단층 퍼셉트론의 XOR 한계를 지적하자 연구비가 끊겼고, 1990년대에는 SVM과 같은 더 수학적으로 깔끔한 방법이 주류를 차지하며 신경망은 사실상 변방으로 밀려났습니다.

반전은 2012년 ImageNet 대회에서 일어났습니다. 토론토 대학 제프리 힌튼의 제자 알렉스 크리제브스키가 만든 AlexNet은 기존 최고 성능보다 오류율을 10%p 넘게 떨어뜨리며 우승했습니다. 5개의 컨볼루션 층과 3개의 완전연결 층, 총 6000만 개의 파라미터를 두 개의 GTX 580 GPU로 일주일 가까이 학습시킨 이 모델은 ReLU, 드롭아웃, 데이터 증강 같은 지금도 우리가 쓰는 기본 도구들을 한꺼번에 보여줬습니다. 이 사건은 단순히 한 대회의 우승을 넘어, "깊은 신경망이 진짜로 작동한다"는 증거를 업계에 던졌고 지금의 딥러닝 르네상스가 시작됐습니다.

우리가 세 번째 AI 겨울을 피한 이유는 세 가지가 한꺼번에 성숙했기 때문입니다 — 인터넷과 스마트폰이 쏟아낸 데이터, GPU와 TPU가 만들어낸 계산력, 그리고 ReLU·배치정규화·Adam 같은 알고리즘 혁신. 한 학기 동안 우리가 배우는 모든 주제는 이 세 기둥 위에 서 있다고 보면 됩니다.

1. AI · ML · DL — 헷갈리는 세 단어

뉴스에서 매일 듣지만 막상 차이를 설명하라고 하면 막막합니다. 사실은 포함 관계입니다.

AI (인공지능) — 사람처럼 생각하거나 행동하는 모든 기계. 가장 큰 개념. 1950년대부터 시작된 오래된 단어로, 규칙 기반 전문가 시스템도 AI입니다.
ML (머신러닝) — 사람이 규칙을 일일이 짜는 대신 데이터에서 규칙을 자동으로 배우는 방법. AI의 한 갈래입니다.
DL (딥러닝) — 다층 신경망을 사용하는 머신러닝의 한 갈래. 2012년 ImageNet 대회 이후 폭발적으로 성장했습니다.

즉 AI ⊃ ML ⊃ DL. 이번 학기에는 가운데와 가장 안쪽 동그라미를 본격적으로 다룹니다.

구체적인 예로 이해하면 더 선명합니다. "체스 프로그램"을 만든다고 합시다. 1990년대의 딥블루는 사람이 손으로 평가 함수를 짜고 알파-베타 탐색으로 수를 읽는 규칙 기반 AI였습니다 — ML이 아닙니다. 2000년대의 스팸 필터는 "단어의 빈도를 피처로 쓰고 로지스틱 회귀로 분류"하는 방식으로, 사람이 피처는 설계하지만 가중치는 데이터가 결정하는 ML입니다. 2016년의 알파고는 사람이 피처조차 설계하지 않고, 바둑판 이미지를 통째로 넣어 컨볼루션 신경망이 스스로 "좋은 수"의 패턴을 찾게 하는 DL입니다. 같은 문제도 어느 층에서 접근하느냐에 따라 다른 기술이 됩니다.

초보자가 자주 오해하는 것은 "딥러닝은 항상 머신러닝보다 낫다"입니다. 사실은 반대에 가깝습니다. 데이터가 수백·수천 건에 불과하거나, 해석 가능성이 중요하거나(의료 진단 근거 제시), 엣지 디바이스에서 돌려야 한다면 랜덤포레스트나 로지스틱 회귀가 더 나은 선택일 때가 아주 많습니다. 딥러닝의 진짜 강점은 데이터가 수십만 건 이상이고 피처 엔지니어링이 어려운 영역(이미지, 음성, 자연어)에서 드러납니다.

왜 갑자기 딥러닝이 떴을까? 세 가지가 동시에 갖춰졌기 때문입니다. ① 데이터(인터넷·스마트폰), ② 계산력(GPU), ③ 알고리즘(ReLU·드롭아웃·배치정규화). 이 셋 중 하나라도 빠졌으면 지금의 AI 열풍은 없었습니다.

2. 지도학습 vs 비지도학습

머신러닝을 분류하는 가장 흔한 축은 "정답이 있느냐"입니다. 정답이 있으면 지도학습, 없으면 비지도학습입니다. 이 구분은 단순해 보이지만 실전에서는 데이터를 모으는 비용의 구분이기도 합니다. 라벨링은 대개 사람의 손이 필요하고, 의료영상처럼 전문가가 필요한 경우 이미지 한 장당 수만 원이 들기도 합니다. 반면 라벨이 없는 데이터는 인터넷에 무한히 있습니다. 그래서 요즘 LLM들이 사용하는 자기지도학습(self-supervised)은 "라벨 없는 데이터에서 인위적인 정답을 만들어내" 지도학습처럼 훈련하는 접근인데, 이 이야기는 W13 트랜스포머와 LLM에서 다시 만납니다.

분류	입력	예시
지도학습 (Supervised)	입력 + 정답 라벨	도미/빙어 분류, 집값 예측, 메일 스팸 판정
비지도학습 (Unsupervised)	입력만	고객 군집화, 차원 축소, 이상치 탐지
강화학습 (Reinforcement)	상태 + 보상	알파고, 로봇 보행, 게임 AI

지도학습은 다시 두 종류로 나뉩니다.

분류 (Classification) — 카테고리를 예측. "이건 도미? 빙어?" 출력이 이산적입니다.
회귀 (Regression) — 연속된 숫자를 예측. "이 농어의 무게는 몇 g?" 출력이 실수입니다.

🎮 인터랙티브: 지도/비지도 데이터 생성기

클러스터 수와 분산을 조절해 데이터를 생성합니다. "라벨 보이기"를 끄면 비지도학습 입장에서 본 데이터입니다 — 색이 없으니 그저 점 무더기죠.

클러스터 수 3 분산 25 라벨 보이기

3. K-Nearest Neighbors (KNN)

KNN은 1951년 Fix와 Hodges가 발표한, 머신러닝의 가장 원로 알고리즘 중 하나입니다. "비슷한 것은 비슷한 답을 가질 것이다"라는 너무나 당연한 가정에서 출발합니다. 재미있는 점은 KNN에는 사실 학습 단계가 없다는 것입니다. 훈련 데이터를 그대로 저장해두기만 할 뿐이고, 모든 계산은 예측 시점에 일어납니다. 이런 방식을 게으른 학습(lazy learning)이라고 부릅니다. 대비되는 eager learning(예: 신경망)은 학습 때 많은 시간을 쓰고 예측은 빠른데, KNN은 정반대라 실시간 예측이 필요한 상황에서는 오히려 불리할 수 있습니다.

아주 작은 예로 감을 잡아봅시다. 훈련 데이터가 세 점이라 합시다: A=(1,1, 도미), B=(2,2, 도미), C=(5,5, 빙어). 새 점 X=(3,3)을 K=1로 분류하면, 가장 가까운 점은 B(거리 $\sqrt{2}$)이므로 도미로 분류됩니다. K=3이면 세 점 모두 고려해 다수결인데, 도미 2 vs 빙어 1이라 여전히 도미입니다. 이렇게 손으로 따라가 보면 "학습이 없다"는 말의 의미가 분명해집니다 — 우리는 아무 가중치도 업데이트하지 않았습니다.

가장 단순하고 직관적인 분류기입니다. 학습이라 할 만한 게 없습니다 — 그냥 데이터를 통째로 외워둘 뿐. 새 데이터가 들어오면:

학습 데이터 중 가장 가까운 K개의 이웃을 찾습니다.
그 K개의 클래스를 보고 다수결로 결정합니다.

$$ \text{class}(\mathbf{x}) = \arg\max_{c} \sum_{i \in N_K(\mathbf{x})} \mathbb{1}(y_i = c) $$

$N_K(\mathbf{x})$는 $\mathbf{x}$의 K개 최근접 이웃, $\mathbb{1}$은 조건이 참이면 1입니다. 거리는 보통 유클리드 거리를 씁니다.

$$ d_{\text{Euclid}}(\mathbf{x},\mathbf{y}) = \sqrt{\sum_i (x_i - y_i)^2}, \quad d_{\text{Manhattan}}(\mathbf{x},\mathbf{y}) = \sum_i |x_i - y_i| $$

K가 작으면 모델이 너무 민감해져 잡음까지 외우는 과적합이, K가 크면 너무 둔해지는 과소적합이 일어납니다. 보통 홀수로 잡고(다수결 동점 방지) 교차검증으로 고릅니다.

🎮 인터랙티브: KNN 결정 경계

도미(파랑)와 빙어(주황) 데이터입니다. K를 조절하며 결정 경계가 어떻게 변하는지 보세요. 캔버스를 클릭해 새 데이터를 추가할 수 있고, 우클릭은 빙어입니다.

K (이웃 수) 5 🔵 도미 🟠 빙어 클릭: 도미 추가, 우클릭: 빙어 추가

KNN의 숨은 함정 — 스케일과 차원. 길이(cm)와 무게(g)를 같이 쓰면, 숫자가 큰 무게가 거리 계산을 지배해 길이는 거의 무시됩니다. 반드시 표준화해야 합니다(W2에서 다룹니다). 또 차원이 수십 개를 넘어가면 "가장 가까운 이웃"과 "가장 먼 이웃"의 거리 차이가 0에 수렴하는 차원의 저주가 일어나, KNN은 무용지물이 됩니다. 그래서 고차원 데이터에는 PCA(W6)로 차원을 먼저 줄이거나 아예 다른 모델을 씁니다.

4. 거리 척도 비교

"가깝다"의 정의는 한 가지가 아닙니다. 유클리드는 직선 거리, 맨해튼은 도시 블록을 따라가는 거리입니다. 차원이 높아질수록 두 거리의 차이가 커지는데, 이를 차원의 저주라고도 합니다.

🎮 인터랙티브: 유클리드 vs 맨해튼

중심점에서 같은 거리에 있는 점들의 집합(=등거리원)을 그립니다. 유클리드는 동그란 원이지만 맨해튼은 마름모(정사각형 회전)입니다.

반지름 80

기하학적으로 생각하면, 거리 척도를 바꾼다는 것은 "같은 거리"의 의미를 바꾸는 일입니다. 유클리드에서는 등거리 집합이 원이고, 맨해튼에서는 45도 회전한 정사각형(마름모), 체비셰프($L_\infty$)에서는 정사각형이 됩니다. 더 일반화한 민코프스키 거리 $d_p(\mathbf x,\mathbf y)=(\sum |x_i-y_i|^p)^{1/p}$는 $p$에 따라 모양이 부드럽게 바뀝니다. $p=2$가 가장 흔한 이유는 회전에 불변이라서 좌표계를 바꿔도 결과가 같기 때문입니다.

5. 코드 예제 (scikit-learn)

# 도미(0) vs 빙어(1) 분류
from sklearn.neighbors import KNeighborsClassifier

# 길이(cm), 무게(g)
fish_data = [[25.4, 242], [26.3, 290], [26.5, 340], [29.0, 363],
             [9.8, 6.7], [10.5, 7.5], [10.6, 7.0], [11.0, 9.7]]
fish_label = [0, 0, 0, 0, 1, 1, 1, 1]

kn = KNeighborsClassifier(n_neighbors=3)
kn.fit(fish_data, fish_label)

print(kn.predict([[30, 600]]))   # → [0]  (도미)
print(kn.score(fish_data, fish_label))   # → 1.0

scikit-learn은 2007년 David Cournapeau가 시작한 파이썬 머신러닝 라이브러리로, "모든 모델이 fit·predict·score라는 동일한 인터페이스를 공유한다"는 철학이 핵심입니다. 덕분에 KNN을 랜덤포레스트로 바꿀 때 한 줄만 고치면 됩니다. 우리는 학기 내내 이 인터페이스를 기준점으로 삼고, 딥러닝으로 넘어가면 PyTorch의 forward/backward 스타일로 자연스럽게 진화해 갈 것입니다.

실전 팁. KNN에서 n_neighbors는 보통 3~15 사이에서 교차검증으로 고릅니다. 데이터가 많으면(수만 건 이상) 거리 계산이 $O(N)$이라 예측이 느려지므로 algorithm='ball_tree'나 'kd_tree'로 가속하거나, 근사 최근접 이웃(FAISS, Annoy)을 씁니다. 거리 기반 가중 투표(weights='distance')는 가까운 이웃에 더 큰 표를 주는데, 경계가 복잡한 데이터에서 효과가 좋습니다.

6. 13주 전체 로드맵

이번 학기 우리는 데이터 다루기부터 시작해 회귀·분류·신경망·CNN·RNN을 거쳐 트랜스포머와 대형 언어 모델까지 갑니다. 각 카드를 눌러 해당 주차로 바로 이동할 수 있습니다.

Week 2

데이터 핸들링

모델보다 데이터가 먼저입니다. NumPy 배열, pandas 데이터프레임, 표준화와 정규화, 학습/검증/테스트 분할까지 — 머신러닝 파이프라인의 절반은 여기서 끝납니다.

Week 3

회귀 1: 선형회귀

가장 단순한 모델로 직선을 데이터에 맞춥니다. 비용함수(MSE)와 경사하강법이라는 두 도구로 "학습"이 무엇인지 처음 만지게 됩니다.

Week 4

회귀 2: 다중회귀와 로지스틱

입력이 여러 개인 다중회귀, 0/1을 예측하는 로지스틱 회귀, 그리고 여러 클래스를 다루는 소프트맥스. 분류와 회귀의 다리를 놓습니다.

Week 5

분류 알고리즘

KNN을 더 깊이 보고, 마진을 최대화하는 SVM, 질문을 가지치는 결정트리, 나무 여러 그루를 모은 랜덤포레스트까지. 고전 머신러닝의 핵심 도구상자입니다.

Week 6

비지도학습

라벨 없이 데이터의 구조를 찾습니다. K-평균 군집화, 밀도 기반 DBSCAN, 그리고 차원을 줄이는 PCA. "세상을 단순하게 보는 법"을 배웁니다.

Week 7

퍼셉트론과 MLP

신경망의 시작. XOR 문제로 한 번 죽었던 퍼셉트론이 다층 구조와 활성함수로 부활하는 이야기. 비선형성이 왜 그렇게 중요한지 알게 됩니다.

Week 8

심층신경망과 역전파

층이 깊어지면 어떻게 학습할까? 연쇄법칙으로 풀어내는 역전파, 사라지는 기울기, ReLU·드롭아웃·배치정규화 같은 현대 딥러닝의 토대들.

Week 9

CNN 기초

이미지를 위한 신경망. 합성곱이라는 단순한 연산이 어떻게 모서리·질감·물체를 차례로 찾아내는지, 그리고 LeNet이라는 첫 성공 사례까지.

Week 10

CNN 심화와 전이학습

AlexNet → VGG → ResNet으로 이어지는 거대 네트워크들과, 남이 학습시켜놓은 모델을 가져와 내 문제에 맞게 미세조정하는 전이학습 실전.

Week 11

RNN과 LSTM

시간이 있는 데이터(말, 음악, 주가)를 다루는 신경망. 단순 RNN의 한계와 그것을 푼 LSTM의 게이트 구조를 그림으로 이해합니다.

Week 12

Seq2Seq와 Attention

번역기처럼 입력 시퀀스를 받아 출력 시퀀스를 만드는 인코더-디코더 구조, 그리고 모든 LLM의 어머니인 어텐션 메커니즘.

Week 13

Transformer와 LLM

RNN을 완전히 버리고 어텐션만으로 만든 트랜스포머. 그 위에서 GPT·BERT·ChatGPT가 어떻게 자라났는지, 그리고 우리 미래는 어디로 가는지.

6.5 역사의 흐름 — 다섯 번의 파도

한 학기에 배울 주제들을 시간 순서로 한 번 훑으면 큰 그림이 잡힙니다. 이 분야는 크게 다섯 번의 파도를 타고 여기까지 왔습니다.

1950–1960년대 — 상징주의와 퍼셉트론. 로젠블랫의 퍼셉트론(1958)은 단일 뉴런 모델로, 간단한 패턴을 학습할 수 있음을 보여 큰 주목을 받았습니다. 그러나 XOR을 풀 수 없다는 한계가 드러나며(민스키-파퍼트 1969) 첫 겨울이 옵니다.
1980–1990년대 — 역전파와 통계적 학습의 부상. 1986년 루멜하트·힌튼·윌리엄스가 역전파를 대중화하며 다층 신경망이 부활하지만, 동시에 Vapnik의 SVM과 Breiman의 랜덤포레스트 같은 통계적 방법들이 더 깔끔한 수학과 이론적 보장을 내세우며 주류가 됩니다. 신경망은 또 한 번 변방으로 밀려납니다.
2006–2011년 — 사전학습의 실험. 힌튼 그룹이 RBM(Restricted Boltzmann Machine)과 deep belief network로 "깊은 망도 층별 사전학습하면 학습 가능하다"는 힌트를 내놓습니다. 이 시기부터 "Deep Learning"이라는 브랜드가 조금씩 쓰이기 시작합니다.
2012–2017년 — 컨볼루션의 황금기. AlexNet(2012), VGG(2014), GoogLeNet(2014), ResNet(2015), DenseNet(2017)로 이어지는 CNN 폭주 시기. 이미지넷 에러율은 26%에서 3% 이하로 떨어지며 사람보다 잘 분류하게 됩니다. 이 흐름은 W9·W10에서 자세히 다룹니다.
2017–현재 — 트랜스포머와 LLM. 2017년 "Attention Is All You Need" 논문이 RNN 없이 어텐션만으로 번역 최고 성능을 냅니다. 2018년 BERT, 같은 해 GPT-1, 2020년 GPT-3, 2022년 ChatGPT로 이어지며 언어·비전·멀티모달이 통합됩니다. 우리는 W13에서 그 내부를 뜯어볼 겁니다.

이 다섯 파도는 서로 단절된 것이 아니라, 이전 아이디어가 살아남아 다음 파도의 부품이 되는 형태로 이어집니다. 로젠블랫의 단일 뉴런은 지금도 완전연결층의 기본 단위이고, 1986년의 역전파는 오늘날 PyTorch의 .backward() 한 줄로 숨어 있으며, SVM의 커널 트릭은 현대 트랜스포머의 어텐션 점수와 수학적으로 닮아 있습니다. 옛날 아이디어를 안다는 것은 유물 수집이 아니라 현대 기법의 DNA를 이해하는 일입니다.

7. 한 학기 공부법 — 손이 먼저여야 한다

머신러닝은 수학·프로그래밍·데이터 감각이 세 다리로 받치는 분야입니다. 한 다리라도 짧으면 의자가 기우뚱합니다. 강의를 들을 때마다 반드시 손으로 코드를 돌려보길 권합니다. 개념을 읽으면 "알 것 같다"는 착각이 쉽게 오는데, 실제로 numpy 배열 크기를 맞추고 NaN을 디버깅하고 loss가 발산하는 장면을 보고 나서야 "진짜 앎"이 자리잡습니다. 이 수업의 모든 페이지에 인터랙티브 데모가 있는 이유도 "눈으로 만져보기" 위함입니다.

수학은 겁먹지 말되 피하지도 마십시오. 우리는 선형대수(행렬곱·고윳값), 미적분(편미분·연쇄법칙), 확률(기댓값·베이즈 규칙) 세 영역을 얕게 또는 깊게 계속 쓸 것입니다. 모르는 기호가 나와도 당황하지 말고, 그 자리에서 작은 예제로 숫자를 대입해 보면 거의 항상 실체가 보입니다. 예컨대 $\mathbf{w}^\top \mathbf{x}$가 낯설면 $\mathbf{w}=[2,3]$, $\mathbf{x}=[1,4]$로 계산해 보세요 — $2\cdot 1 + 3\cdot 4 = 14$, 그뿐입니다.

마지막으로, 머신러닝은 본질적으로 일반화의 학문입니다. "훈련 데이터를 잘 맞추는 것"과 "본 적 없는 데이터에도 잘 작동하는 것"은 전혀 다른 문제이고, 학기 내내 우리가 싸우게 될 가장 큰 적은 과적합(overfitting)입니다. 이 단어는 매주 돌아올 것이니 미리 친해져 두세요.

📖 더 깊이 공부하기

혼자 공부하는 머신러닝+딥러닝 — 박해선 저. 도미/빙어 예제로 부드럽게 들어가는 한국어 입문서.
Sung Kim의 모두를 위한 머신러닝/딥러닝 — hunkim.github.io/ml. 한국어 강의의 고전.
scikit-learn 공식 튜토리얼 — scikit-learn.org. KNN을 비롯한 모든 고전 ML이 한자리에.
Pattern Recognition and Machine Learning — Bishop. 깊이 있게 가고 싶을 때의 표준 교과서.