Week 11. RNN과 LSTM

시간이 흐르는 데이터 — 말, 음악, 주가, 센서 신호 — 를 다루는 신경망. 그리고 그것을 실용화한 LSTM의 게이트 구조.

이번 주에 배우는 것

시퀀스 데이터의 특징
vanilla RNN과 BPTT
장기 의존성 문제
LSTM의 세 게이트
GRU — 더 간단한 대안

1. 시퀀스 데이터 — 시간이 흐르는 세상

지금까지 다룬 신경망은 입력이 고정된 크기의 벡터였습니다. W9 CNN의 이미지도 $224 \times 224$로 크기가 고정입니다. 그런데 현실에는 길이가 가변적이고 순서가 중요한 데이터가 수없이 많습니다:

자연어 — 문장의 길이는 제각각. 단어 순서가 바뀌면 의미가 완전히 달라짐.
음성 — 샘플 수는 발화 길이에 따라 다름. 시간 순서대로 들어야 의미가 생김.
음악 — 멜로디는 음표의 시간 순서.
주가·센서 신호 — 시계열 그 자체.
비디오 — 프레임의 시퀀스.

두 가지 특성이 이들을 완전연결망이나 CNN으로 다루기 어렵게 만듭니다.

특성 1 — 가변 길이. "안녕"은 단어 1개, "오늘 날씨가 참 좋네요"는 5개. 완전연결망의 입력 차원은 고정이라 두 문장을 같은 방식으로 처리할 수 없습니다. 패딩(0으로 채우기)이나 자르기는 정보 손실을 만듭니다.

특성 2 — 순서가 곧 의미. "나는 학교에 갔다"와 "갔다 학교에 나는"은 단어 집합은 똑같지만 의미가 다릅니다. 그런데 단어를 bag-of-words로 단순히 합치면 이 두 문장이 구별되지 않습니다. 그리고 "나는 어제 도서관에서 친구들과 새로 나온 책을 읽었다"에서, 마지막 동사를 결정하는 단서(주어 "나는")는 먼 과거에 있습니다. 모델이 장거리 의존성을 포착해야 합니다.

이 두 요구를 해결하는 신경망이 순환 신경망(Recurrent Neural Network, RNN)입니다.

2. Vanilla RNN — 시간이라는 공유 축을 따라

RNN의 핵심 아이디어는 딱 하나입니다: "지금까지 본 것을 요약한 은닉 상태(hidden state)를 다음 시점으로 넘기자". 이 은닉 상태 $h_t$가 일종의 "기억"입니다.

가장 단순한 RNN의 업데이트 규칙 (Elman, 1990):

$$ h_t = \tanh(W_h h_{t-1} + W_x x_t + b_h) $$ $$ y_t = W_y h_t + b_y $$

여기서 $x_t$는 시점 $t$의 입력(예: 현재 단어의 임베딩), $h_t$는 시점 $t$의 은닉 상태(과거 전부를 요약), $y_t$는 시점 $t$의 출력. 핵심은 같은 가중치 행렬 $W_h, W_x, W_y$를 모든 시점이 공유한다는 것입니다. 길이가 10이든 1000이든 파라미터 수는 그대로 — 이로써 가변 길이 문제가 해결됩니다.

작동 방식을 상상해봅시다. $h_0 = 0$으로 시작. 첫 단어 $x_1$이 들어오면 $h_1 = \tanh(W_x x_1 + b_h)$. 둘째 단어 $x_2$가 들어오면 $h_2 = \tanh(W_h h_1 + W_x x_2 + b_h)$ — 여기서 $h_1$을 통해 첫 단어 정보가 섞입니다. 이런 식으로 $h_t$는 $x_1, \dots, x_t$ 전부의 요약이 됩니다.

이 구조의 또 다른 매력은 파라미터 공유가 일반화를 돕는다는 것입니다. 같은 $W$를 시점마다 쓰므로, "문장 첫 자리에서 본 패턴"이 "문장 중간에 다시 나타나면" 같은 처리가 적용됩니다. 이는 W9 CNN의 "공간 위치에 상관없이 같은 필터"와 같은 원리 — 다만 차원이 공간이 아니라 시간.

2.1 BPTT — 시간을 펼쳐 역전파하기

학습은 어떻게 할까요? RNN을 "시간을 따라 펼치면(unroll)" 사실상 각 시점마다 층이 하나씩 있는 아주 깊은 피드포워드 네트워크가 됩니다. 여기에 W8 역전파를 그대로 적용하는 것이 BPTT(Backpropagation Through Time)입니다.

손실 $L = \sum_t L_t$가 있을 때, $W_h$에 대한 그래디언트는:

$$ \frac{\partial L}{\partial W_h} = \sum_t \sum_{k \le t} \frac{\partial L_t}{\partial h_t} \cdot \left(\prod_{j=k+1}^{t} \frac{\partial h_j}{\partial h_{j-1}}\right) \cdot \frac{\partial h_k}{\partial W_h} $$

핵심은 안쪽의 Jacobian 곱 $\prod_{j=k+1}^{t} \frac{\partial h_j}{\partial h_{j-1}}$입니다. 이것이 다음 섹션의 주인공입니다.

BPTT는 메모리가 많이 듭니다. 모든 시점의 은닉 상태를 저장해야 역전파할 수 있기 때문에, 긴 시퀀스에서는 TBPTT(Truncated BPTT)로 몇 시점만 거꾸로 전파하는 근사가 자주 쓰입니다.

🎮 인터랙티브: RNN 펼침 시각화

같은 셀이 시간을 따라 5번 반복되는 모습을 봅니다. 슬라이더로 시점을 옮기면 그 순간의 은닉 상태가 강조됩니다.

현재 시점 t 2

3. 장기 의존성 문제 — 기울기가 사라지는 이유

RNN의 수식은 우아하지만 현실에선 심각한 문제가 있습니다. 예문: "나는 어제 도서관에서 친구들과 공부하고 새로 나온 소설을 빌려 집에 와서 저녁을 먹고 잠들기 전에 한 시간 동안 그 책을 읽었다." 마지막 동사 "읽었다"가 과거형인 것은 문장 맨 앞의 "어제"와 관련이 있습니다. 이 거리가 20단어 이상.

이론적으로 RNN은 $h_t$에 모든 과거 정보를 넣을 수 있지만, 실전에서는 5~10단어 이상 떨어진 정보를 기억하지 못합니다. 왜 그럴까요?

BPTT의 Jacobian 곱을 다시 봅시다:

$$ \prod_{j=k+1}^{t} \frac{\partial h_j}{\partial h_{j-1}} = \prod_{j=k+1}^{t} W_h^\top \text{diag}(\tanh'(z_j)) $$

이 곱이 $t - k$의 지수함수입니다. 두 경우로 나뉩니다:

기울기 소실(vanishing) — 가중치의 최대 특이값이 1보다 작으면 곱이 $0$으로 지수 감쇠. 먼 과거의 단서가 현재 업데이트에 전혀 영향을 못 줌. $\tanh'$의 최댓값이 1이고 대부분 0보다 작으므로 이 쪽이 더 흔함.
기울기 폭발(exploding) — 반대로 곱이 $\infty$로 발산. 업데이트가 너무 커서 NaN이 뜨거나 발산. 그래디언트 클리핑(gradient clipping)으로 어느 정도 완화 가능.

이 문제는 W8 §2 기울기 소실에서 본 현상과 본질적으로 같습니다. 다만 시간축에서 발생할 뿐. 1994년 Bengio 등이 이 문제를 수학적으로 분석해 "vanilla RNN은 장기 의존성을 본질적으로 학습하기 어렵다"는 부정적 결론을 내리면서 RNN 연구는 한동안 침체되었습니다.

4. LSTM — 정보의 고속도로

해답은 놀랍게도 Bengio의 분석과 거의 같은 시기에 이미 제시되어 있었습니다. 1997년 Sepp Hochreiter와 Jürgen Schmidhuber는 논문 "Long Short-Term Memory"에서 RNN 셀을 완전히 재설계한 LSTM을 발표했습니다. 핵심 아이디어는 하나입니다: 은닉 상태 외에 "셀 상태(cell state) $C_t$"라는 별도의 정보 통로를 두고, 이 통로는 곱셈이 아닌 덧셈으로 업데이트되게 하자.

덧셈은 곱셈과 달리 기울기를 소실시키지 않습니다. $\frac{\partial C_t}{\partial C_{t-1}} = 1$ (게이트가 적절히 설정되면)이면 기울기가 수백 시점을 거슬러 올라가도 거의 그대로 유지됩니다. 이것이 LSTM을 "정보의 고속도로"라 부르는 이유. 셀 상태가 고속도로고, 게이트가 그 고속도로에 무엇을 올리고 내릴지 제어합니다.

LSTM은 세 개의 게이트로 셀 상태를 제어합니다:

망각 게이트(forget gate) $f_t$: 과거 셀 상태 $C_{t-1}$에서 무엇을 지울지. 값이 0이면 완전히 잊고, 1이면 완전히 유지. 시그모이드를 써서 $[0, 1]$ 범위로 만듭니다.
입력 게이트(input gate) $i_t$: 현재 시점에 생성된 새 후보 $\tilde C_t$ 중 무엇을 셀에 새로 쓸지. 역시 시그모이드.
출력 게이트(output gate) $o_t$: 업데이트된 셀 상태 중 무엇을 외부(은닉 상태 $h_t$)에 보일지. 시그모이드.

$$ f_t = \sigma(W_f [h_{t-1}, x_t]), \quad i_t = \sigma(W_i [h_{t-1}, x_t]), \quad o_t = \sigma(W_o [h_{t-1}, x_t]) $$ $$ \tilde{C}_t = \tanh(W_C [h_{t-1}, x_t]), \quad C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t $$ $$ h_t = o_t \odot \tanh(C_t) $$

🎮 인터랙티브: LSTM 게이트 값 조절

세 게이트 값을 직접 움직이며 셀 상태가 어떻게 변하는지 보세요. 망각이 0이면 과거를 완전히 지우고, 입력이 0이면 새 정보를 받지 않습니다.

망각 f 0.9 입력 i 0.5 출력 o 0.8

4.1 LSTM 수식 한 줄씩 이해하기

LSTM의 전체 업데이트 식을 다시 적어봅시다:

$$ f_t = \sigma(W_f [h_{t-1}, x_t] + b_f) $$ $$ i_t = \sigma(W_i [h_{t-1}, x_t] + b_i) $$ $$ o_t = \sigma(W_o [h_{t-1}, x_t] + b_o) $$ $$ \tilde C_t = \tanh(W_C [h_{t-1}, x_t] + b_C) $$ $$ C_t = f_t \odot C_{t-1} + i_t \odot \tilde C_t $$ $$ h_t = o_t \odot \tanh(C_t) $$

$[h_{t-1}, x_t]$는 두 벡터를 이어붙인 것이고, $\odot$는 요소별 곱. 각 식의 의미를 한 문장씩:

$f_t$: "과거에서 무엇을 잊을까?" — 0이면 완전히 잊고 1이면 완전히 기억.
$i_t$: "지금 무엇을 새로 배울까?" — 지금 이 순간의 정보 중 셀에 쓸 것의 비율.
$\tilde C_t$: "새로 쓸 후보 값" — $\tanh$로 $[-1, 1]$ 범위.
$C_t = f_t \odot C_{t-1} + i_t \odot \tilde C_t$: "옛 셀 상태에서 잊을 건 지우고 새로 배울 건 더하기". 이 덧셈 구조가 기울기 소실을 막는 핵심.
$o_t$: "셀의 내용 중 어디를 밖으로 보낼까?"
$h_t = o_t \odot \tanh(C_t)$: "셀 상태를 스케일 조정해 외부로 출력".

4.2 왜 기울기가 더 이상 사라지지 않는가

핵심은 $C_t = f_t \odot C_{t-1} + i_t \odot \tilde C_t$의 $\partial C_t / \partial C_{t-1} = f_t$. 망각 게이트의 값입니다. 중요한 관찰:

$f_t$가 1에 가까우면 $\partial C_t / \partial C_{t-1} \approx 1$. 기울기가 그대로 전달됨.
$\tanh$ 처럼 0에 가까운 값이 아니라 네트워크가 학습으로 1 근처 값을 선택할 수 있음.
따라서 "기억할 가치가 있는 정보"는 $f_t = 1$로 유지, "잊을 정보"는 $f_t = 0$으로 지움.

즉 LSTM은 스스로 "얼마나 오래 기억할지"를 데이터로부터 학습합니다. 이 능력이 없던 vanilla RNN과의 결정적 차이입니다.

망각 게이트 편향의 트릭 — 실전에서 $b_f$를 1 또는 2로 초기화하면 학습 초기에 망각이 거의 일어나지 않아 기울기 흐름이 좋아집니다. 작은 트릭이지만 수렴 속도에 큰 차이를 만듭니다. PyTorch의 기본값은 이 트릭을 반영하지 않으니 직접 설정해야 합니다.

5. GRU — 단순함의 미덕

2014년 Kyunghyun Cho 등이 제안한 GRU(Gated Recurrent Unit)는 LSTM의 세 게이트를 두 개로 줄인 단순화 버전입니다. 핵심 아이디어:

셀 상태 $C$와 은닉 상태 $h$를 하나로 합침 (셀 상태 없음).
망각 게이트와 입력 게이트를 하나의 업데이트 게이트 $z_t$로 합침. "지우는 만큼만 새로 쓰자" — $f + i = 1$의 제약.
새 리셋 게이트 $r_t$는 "과거 상태를 얼마나 다시 볼지"를 결정.

$$ z_t = \sigma(W_z [h_{t-1}, x_t]), \quad r_t = \sigma(W_r [h_{t-1}, x_t]) $$ $$ \tilde h_t = \tanh(W [r_t \odot h_{t-1}, x_t]) $$ $$ h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde h_t $$

GRU의 파라미터 수는 LSTM의 약 3/4입니다. 성능은 작업에 따라 비슷하거나 살짝 다른데, 일반적으로 작은 데이터셋에서는 GRU가 유리하고(과적합이 덜함), 큰 데이터셋에서는 LSTM이 약간 더 잘 작동하는 경향이 있습니다. 실무에서는 둘 다 시도해보고 검증 성능이 좋은 쪽을 선택합니다.

이후 Transformer(W13)가 등장하면서 RNN 계열은 자연어 처리 주류에서 물러났지만, 여전히 센서 신호 처리, 시계열 예측, 음성 인식 같은 특수 분야에서는 LSTM/GRU가 기본 선택입니다. 특히 엣지 디바이스나 실시간 처리가 필요한 환경에서는 Transformer의 $O(n^2)$ 메모리가 부담이라 RNN이 여전히 선호됩니다.

6. 시계열 예측 데모

🎮 인터랙티브: 사인파 예측

간단한 1셀 RNN이 사인파를 학습합니다. 진폭과 주파수를 조절해보세요(시뮬레이션).

주파수 1 잡음 0.1

7. 코드 예제 (PyTorch)

import torch.nn as nn

class LSTMNet(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)
    def forward(self, x):
        out, (h, c) = self.lstm(x)
        return self.fc(out[:, -1, :])

📖 더 깊이 공부하기

Sung Kim Lec 12 — RNN/LSTM 한국어 강의.
Understanding LSTM Networks — Chris Olah, colah.github.io. 이 분야의 고전 글.
LSTM 원논문 — Hochreiter·Schmidhuber(1997). 인내심을 가지고 보세요.
The Unreasonable Effectiveness of RNNs — Andrej Karpathy.