트랜스포머(Transformer) 아키텍처 상세 설명

**트랜스포머(Transformer)**는 2017년 Google이 논문 *"Attention Is All You Need"*를 통해 발표한 딥러닝 모델 아키텍처입니다.

이전의 자연어 처리(NLP)를 지배하던 RNN(순환 신경망)과 LSTM의 한계를 뛰어넘어, 현재의 생성형 AI 혁명(GPT, Gemini, Llama 등)을 가능하게 만든 가장 핵심적인 기반 기술입니다.

1. 트랜스포머의 등장 배경과 혁신

기존 모델(RNN/LSTM)은 데이터를 **순차적(Sequential)**으로 처리했습니다.

• 문제점: "나는 밥을 먹고 학교에 갔다"라는 문장이 있다면, '나는'을 처리하고 나서야 '밥을'을 처리할 수 있었습니다. 문장이 길어질수록 앞의 내용을 잊어버리거나(Long-term Dependency 문제), 학습 속도가 매우 느렸습니다.

트랜스포머는 이 방식을 완전히 뒤집었습니다.

• 혁신: 문장 전체를 한꺼번에(Parallel) 입력받아 처리합니다. 단어의 위치와 관계없이 모든 단어 간의 관계를 동시에 계산합니다. 이를 가능하게 한 핵심 기술이 바로 **'어텐션(Attention)'**입니다.

2. 전체 구조: 인코더(Encoder)와 디코더(Decoder)

트랜스포머는 크게 인코더와 디코더 두 부분으로 나뉩니다.

• 인코더 (Encoder): 입력된 데이터(문장)의 의미와 문맥을 이해하고 압축하는 역할을 합니다. (왼쪽 기둥)

① 예: 한국어 문장을 읽고 그 뜻을 파악함.

• 디코더 (Decoder): 인코더가 이해한 정보를 바탕으로 새로운 데이터를 생성하는 역할을 합니다. (오른쪽 기둥)

① 예: 파악된 뜻을 바탕으로 영어 문장을 만들어냄.

참고: 최근의 LLM들은 목적에 따라 이 구조를 변형해서 사용합니다.

① BERT 계열: 인코더만 사용 (이해, 분류에 강점)

② GPT 계열: 디코더만 사용 (생성, 작문에 강점)

③ T5/BART: 인코더-디코더 모두 사용 (번역, 요약에 강점)

3. 핵심 구성 요소 상세 설명

트랜스포머 내부를 들여다보면 다음과 같은 주요 부품들이 작동하고 있습니다.

① 포지셔널 인코딩 (Positional Encoding)

트랜스포머는 문장을 병렬로 처리하기 때문에, 단어의 **순서(어순)**를 모릅니다. "나를 너가 사랑해"와 "너를 내가 사랑해"를 구분하기 위해, 각 단어에 **위치 정보(번호표)**를 더해주는 과정입니다.

② 셀프 어텐션 (Self-Attention) - 가장 중요!

문장 내의 각 단어가 다른 단어들과 얼마나 연관되어 있는지를 계산하는 메커니즘입니다.

• 원리: **Query(질문), Key(답변의 라벨), Value(실제 내용)**라는 세 가지 벡터를 사용하여 계산합니다.
• 비유: 도서관 검색 시스템

① Query (Q): 내가 검색창에 친 검색어 ("생성형 AI")

② Key (K): 책들의 제목이나 태그

③ Value (V): 책의 실제 내용

④ 작동: 내 질문(Q)과 가장 잘 맞는 제목(K)을 찾아서, 그 책의 내용(V)을 많이 가져오는 방식입니다.

• 결과: "그것(It)"이라는 단어가 문맥상 "강아지"를 가리키는지 "자동차"를 가리키는지 기계가 스스로 파악하게 됩니다.

③ 멀티 헤드 어텐션 (Multi-Head Attention)

셀프 어텐션을 여러 개(Multi-Head) 복사해서 동시에 수행하는 것입니다.

• 이유: 문장을 볼 때 한 가지 관점으로만 보면 놓치는 것이 생깁니다. 여러 개의 '헤드'가 각기 다른 관점(문법적 관계, 의미적 관계, 위치적 관계 등)에서 문장을 분석하여 더 풍부한 이해를 가능하게 합니다.
• 비유: 여러 명의 전문가가 하나의 문서를 동시에 검토하여 종합적인 결론을 내리는 것과 같습니다.

④ 피드 포워드 신경망 (Feed-Forward Networks)

어텐션을 통해 모아진 정보들을 가공하고 정리하여 다음 층으로 넘겨주는, 일종의 데이터 변환 및 추론 단계입니다. 각 단어마다 독립적으로 적용됩니다.

⑤ 잔차 연결 (Residual Connection) & 층 정규화 (Layer Normalization)

• Add (잔차 연결): 학습 단계가 깊어질수록 정보가 손실되는 것을 막기 위해, 입력값(원본)을 출력값에 더해주는 기술입니다.
• Norm (정규화): 데이터 값의 분포를 일정하게 맞춰주어 학습이 안정적이고 빠르게 이루어지도록 돕습니다.

4. 트랜스포머의 작동 흐름 요약

1. 입력: "나는 학교에 간다"라는 문장이 들어옵니다.
2. 임베딩 & 포지셔닝: 단어를 숫자 벡터로 바꾸고, 순서 정보를 더합니다.
3. 인코더 (멀티 헤드 어텐션): '나는', '학교에', '간다'가 서로 어떤 관계인지 파악합니다. (예: '간다'의 주체는 '나', 목적지는 '학교')
4. 디코더 (Masked 어텐션): 인코더의 정보를 바탕으로 다음에 올 단어를 예측하여 생성합니다. (예: 번역이라면 "I", "go", "to"... 순으로 생성)
5. 출력: 최종 결과물을 내놓습니다.

이 구조 덕분에 트랜스포머는 긴 문맥을 기억하고, 빠르게 학습하며, 압도적인 성능을 낼 수 있게 되었습니다.