원본보기

이 문서는 1부에서 설명한 개념을 바탕으로, Vertex AI Search를 사용하여 실제로 RAG 애플리케이션을 어떻게 구축하는지 구체적인 아키텍처와 단계를 보여주는 실습 가이드입니다.

1. 핵심 목표: 복잡한 RAG 파이프라인을 '단순하게' 만들기

전통적인 RAG 시스템을 직접 만들려면 다음과 같은 복잡하고 어려운 과정들을 개발자가 직접 처리해야 했습니다.

① 데이터 전처리: 문서를 의미 있는 단위로 나누는 작업 (Chunking)

② 임베딩: 나눈 조각들을 AI가 이해할 수 있는 숫자 벡터로 변환

③ 벡터 DB 관리: 변환된 벡터 데이터를 저장하고 검색하는 시스템 운영

④ 검색 알고리즘 구현: 사용자의 질문과 가장 유사한 벡터 조각을 찾는 로직 개발

이 글의 핵심은 Vertex AI Search가 이 모든 복잡한 과정을 자동화하여, 개발자가 RAG의 본질에만 집중할 수 있게 해준다는 것입니다.

2. Vertex AI Search를 이용한 RAG 아키텍처

Vertex AI Search를 사용하면 RAG 시스템의 구조가 매우 단순해집니다.

① 데이터 소스 (Your Data): PDF, HTML 등 원본 문서가 저장된 곳 (예: Google Cloud Storage)

② Vertex AI Search (The Engine):

ⓐ데이터 저장소(Data Store): 원본 문서의 위치만 알려주면, Vertex AI Search가 알아서 데이터를 가져와 처리하고 검색 가능한 상태로 만듭니다 (위에서 언급한 전처리, 임베딩, DB 관리를 모두 자동 수행).

ⓑ 검색 엔진(Search Engine): 사용자의 질문을 받으면, 데이터 저장소에서 가장 관련성 높은 정보 조각(Snippets)을 찾아주는 역할을 합니다.

③ 생성형 AI 모델 (Gemini Pro): Vertex AI Search가 찾아준 정보 조각을 바탕으로 최종 답변을 생성합니다.

이 구조 덕분에 개발자는 복잡한 백엔드 관리 없이, API 호출만으로 강력한 검색 기능을 구현할 수 있습니다.

3. 구체적인 구축 단계 (단 3단계)

이 글에서는 Google의 연례 보고서(10-K filings) PDF 파일들을 검색하여 질문에 답하는 예시 앱을 만듭니다.

1단계: 데이터 저장소 생성 및 문서 업로드

① Google Cloud 콘솔에서 몇 번의 클릭만으로 Vertex AI Search에 'Data Store'를 만듭니다.

② PDF 문서들이 들어있는 Google Cloud Storage 폴더를 지정해주기만 하면, 시스템이 자동으로 문서 내용을 읽어 들여 색인(Indexing)을 완료합니다. 개발자가 직접 파일을 파싱하거나 나눌 필요가 없습니다.

2단계: 검색 기능 구현 (API 호출)

① 사용자가 앱에 질문을 입력하면, 애플리케이션은 이 질문을 담아 Vertex AI Search API를 호출합니다.

② API는 질문과 가장 관련성이 높은 문서의 일부 내용(Snippets)과 출처(Source) 정보를 결과로 돌려줍니다.

3단계: 생성형 AI를 통해 답변 생성

① 앞 단계에서 받은 **'검색 결과(Snippets)'**와 사용자의 **'원본 질문'**을 조합하여 프롬프트(Prompt)를 만듭니다.

② 이 프롬프트를 Gemini와 같은 LLM에게 전달하여, **"이 자료를 참고해서 질문에 답해줘"**라고 요청합니다.

③ LLM은 자료에 근거한 유창한 답변과 함께, 어떤 문서의 몇 페이지를 참고했는지 '인용(Citation)' 정보까지 포함하여 최종 결과를 생성합니다.

결론 및 핵심 요약

① 자동화의 힘: Vertex AI Search는 데이터 처리부터 벡터 DB 관리까지, RAG 구축에 필요한 모든 복잡한 과정을 자동화합니다.

② 단순한 구현: 개발자는 단지 데이터의 위치를 지정하고, 필요할 때 API를 호출하기만 하면 Google 수준의 고품질 검색 기능을 RAG에 통합할 수 있습니다.

③ 신뢰성 있는 답변: 생성된 답변에는 항상 원본 문서의 출처가 함께 제공되므로, 사용자는 AI의 답변을 신뢰하고 직접 사실을 확인할 수 있습니다.

결론적으로 이 글은 Vertex AI Search가 어떻게 개발자들이 RAG의 복잡성에 얽매이지 않고, 쉽고 빠르게 신뢰도 높은 생성형 AI 서비스를 만들 수 있도록 돕는지를 명확하게 보여주는 실용적인 가이드입니다.