RAG 시스템은 대규모 언어 모델(LLM)의 고질적인 문제인 환각(Hallucination, 사실과 다른 정보 생성)과 최신 정보 반영의 어려움을 해소하기 위해 외부 지식 검색 기능을 결합한 기술입니다.

사용자의 질문에 답변을 생성하기 전에, 관련성 높은 문서를 외부 지식 저장소에서 검색(Retrieval)하고, 이를 참고 자료(Context)로 활용하여 답변을 생성(Generation)하는 방식으로 작동합니다.

1. RAG 시스템의 핵심 구성 요소

RAG 시스템은 크게 세 가지 주요 구성 요소와 이들을 연결하는 파이프라인으로 이루어져 있습니다.

2. RAG 시스템 개발 단계별 가이드

RAG 시스템 개발은 크게 **사전 준비 단계(Indexing)**와 **런타임 단계(Runtime)**로 나눌 수 있습니다. 7

1단계: 사전 준비 단계 (Indexing / 색인화)

검색의 기반이 될 문서를 준비하고, 검색 가능한 형태로 변환하는 과정입니다.

1. 문서 수집 및 로딩 (Document Loading):
   • 시스템에서 사용할 원본 문서를 수집하고 불러옵니다. (예: PDF, 웹 문서, JSON 파일) 7
2. 텍스트 분할 (Text Splitting):
   • 방대한 문서를 LLM이 처리하기 적절한 크기의 작은 **청크(Chunk)**로 나눕니다. 너무 크면 관련 없는 정보가 섞이고, 너무 작으면 문맥이 끊어질 수 있습니다. 7
3. 임베딩 (Embedding):
   • 분할된 각 텍스트 청크를 숫자 벡터(Vector)로 변환합니다. 이 벡터는 텍스트의 의미(Semantic)를 수치적으로 표현한 것입니다. 7 10
4. 벡터 데이터베이스 저장 (Vector DB Storage):
   • 생성된 벡터와 원본 텍스트 청크를 벡터 데이터베이스에 저장합니다. 이 DB가 검색기의 핵심 지식 저장소가 됩니다. 7

2단계: 런타임 단계 (Runtime / 실행)

사용자의 질문이 들어왔을 때 실시간으로 답변을 생성하는 과정입니다.

1. 질의 임베딩 (Query Embedding):
   • 사용자가 입력한 질문(Query)을 문서 청크와 동일한 임베딩 모델을 사용하여 벡터로 변환합니다. 7
2. 유사성 검색 (Similarity Search):
   • 변환된 질문 벡터와 벡터 데이터베이스에 저장된 문서 청크 벡터 간의 유사도(예: 코사인 유사도)를 측정하여, 질문과 의미적으로 가장 가까운 상위 N개의 문서를 검색합니다. 7
3. 프롬프트 구성 및 증강 (Prompt Construction):
   • 검색된 관련 문서(Reference Context)와 원래의 질문을 하나의 프롬프트로 결합합니다. 이때 LLM에게 답변을 생성하는 방법을 지시하는 시스템 프롬프트(System Prompt)도 함께 포함됩니다. 7
4. 응답 생성 (Generation):
   • 구성된 프롬프트를 LLM에 전달하여 최종 답변을 생성합니다. LLM은 검색된 외부 정보를 기반으로 답변을 생성하여 정확도와 신뢰성을 높입니다. 5 11

3. 개발에 유용한 주요 도구 및 프레임워크

RAG 시스템을 효율적으로 개발하기 위해 다음과 같은 도구들을 활용할 수 있습니다.

4. 성공적인 RAG 시스템 구축을 위한 조언

• 데이터 품질이 핵심입니다: 아무리 훌륭한 LLM을 사용하더라도, 검색 대상이 되는 문서의 품질이 낮으면 RAG 시스템의 답변 품질도 낮아집니다. 초기 데이터 준비 및 전처리(노이즈 제거, 정확한 청크 분할)에 충분한 시간을 투자해야 합니다.
• 청크 전략을 실험하세요: 문서를 나누는 청크의 크기와 중첩(overlap) 정도는 검색 품질에 큰 영향을 미칩니다. 도메인과 데이터 특성에 맞는 최적의 분할 전략을 찾아야 합니다.
• 평가(Evaluation)는 필수입니다: 시스템 구축 후에는 검색 정확도(Retrieval Recall)와 생성된 답변의 정확성(Faithfulness)을 평가해야 합니다. 이를 위해 테스트 데이터셋(질문-정답 쌍)을 구축하고, AutoRAG 같은 도구를 사용하여 성능을 지속적으로 최적화하세요. 4
• Advanced RAG 기법을 고려하세요: 단순한 검색-생성 외에, 검색된 문서의 순위를 재조정(Re-Ranking)하거나, 질문을 여러 단계로 나누어 검색하는 Query Transformation 등의 Advanced RAG 기법을 도입하면 성능을 극대화할 수 있습니다. 1

aiheroes.ai apidog.com firstcoding.net tistory.com promptingguide.ai kakaocloud.com tistory.com modulabs.co.kr galileo.ai tistory.com velog.io