트랜스포머와 같은 최신 AI 아키텍처는 그 목적과 구조적 특징에 따라 몇 가지 주요 유형으로 개념적으로 분류할 수 있습니다. 이러한 분류는 모델이 정보를 처리하는 방식과 수행하는 작업의 종류에 따라 달라집니다.

1. 시퀀스 처리 방식에 따른 분류

가장 근본적인 분류 기준은 모델이 데이터를 어떻게 처리하는가입니다.

A. 순환형 아키텍처 (Recurrent Architectures) - 과거 방식

초기 자연어 처리의 주류였습니다. 데이터를 순서대로(토큰별로) 처리하며, 이전 단계의 출력이 다음 단계의 입력에 영향을 줍니다. 문맥을 기억할 수는 있지만, 병렬 처리가 불가능하여 속도가 느리고 장거리 문맥 이해에 한계가 있습니다.
예시: RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), GRU (Gated Recurrent Unit)

B. 병렬형 아키텍처 (Parallel Architectures) - 현재 주류

트랜스포머가 여기에 속합니다. 시퀀스 전체를 한 번에 입력받아 병렬로 처리합니다. 셀프 어텐션 메커니즘을 사용하여 시퀀스 내의 모든 요소 간의 관계를 동시에 파악합니다. 계산 효율성이 뛰어나며 대규모 언어 모델의 기반이 됩니다.
예시: Transformer (트랜스포머), ViT (Vision Transformer)

2. 내부 구조 및 학습 목적에 따른 분류

트랜스포머 아키텍처 내에서도 구체적인 사용 목적에 따라 세 가지 주요 하위 유형으로 나뉩니다.

A. 인코더 전용 모델 (Encoder-Only Models)

입력된 텍스트의 깊은 의미론적 이해(문맥 이해)에 중점을 둡니다. 주어진 텍스트의 표현(Representation)을 벡터 형태로 추출하는 데 사용됩니다. 주로 분류(Classification), 정보 추출, 검색 등의 작업에 사용됩니다.

• 개념: 문장의 빈칸을 채우는 방식(Masked Language Model)으로 학습됩니다.
• 예시: BERT, RoBERTa

B. 디코더 전용 모델 (Decoder-Only Models)

현재 대부분의 생성형 AI 모델이 여기에 속합니다. 이전 단어들을 기반으로 다음 단어를 예측하는 방식(Causal Language Model)으로 학습됩니다. 새로운 텍스트를 생성하는 데 탁월하며, 챗봇과 같은 대화형 시스템에 주로 사용됩니다.

• 개념: 왼쪽에서 오른쪽으로 순차적으로 텍스트를 생성하며, 생성 과정 중에 다음 단어만 참조합니다.
• 예시: GPT (Generative Pre-trained Transformer) 제품군 (ChatGPT), Llama, Mistral

C. 인코더-디코더 모델 (Encoder-Decoder Models)

전통적인 트랜스포머의 원래 구조입니다. 입력 시퀀스를 완전히 이해한 후(인코더), 그 이해를 바탕으로 새로운 출력 시퀀스를 생성합니다(디코더). 입력과 출력의 형태가 다른 작업에 최적화되어 있습니다.

• 개념: 두 개의 독립적인 스택이 서로 상호작용합니다.
• 예시: T5, BART, NLLB (No Language Left Behind), Google Translate의 핵심 모델

3. 멀티모달 지원 여부에 따른 분류

최근에는 텍스트뿐만 아니라 다양한 형태의 데이터를 함께 처리하는 아키텍처가 등장했습니다.

• 단일 모달 (Unimodal): 텍스트, 이미지, 오디오 중 하나의 데이터 타입만 처리합니다 (예: 초기 BERT, GPT-3).
• 멀티모달 (Multimodal): 텍스트와 이미지, 오디오 등을 동시에 이해하고 처리할 수 있습니다 (예: GPT-4o, Google Gemini, Llama 3.1의 비전 기능).

이러한 분류 체계를 통해 Llama와 같은 특정 모델이 어떤 방식으로 작동하며, 어떤 작업에 특화되어 있는지를 명확히 이해할 수 있습니다.