Google Cloud Storage(GCS)에서 비정형 데이터를 저장하고 이를 Vertex AI 기반 챗봇(에이전트) 개발에 활용하는 방식은 텍스트 데이터와는 다르게 접근해야 합니다. 단순 텍스트 파일을 JSON으로 벡터화하여 저장하는 것은 RAG의 기본적인 접근 방식입니다.

하지만 문서, PDF, 이미지(PNG, JPG) 등의 비정형 데이터를 다룰 때는, 파일을 그대로 벡터화하는 것이 아니라 **파일에서 필요한 정보를 추출(Extraction)**하여 벡터화합니다.

비정형 데이터 저장 및 활용 기술

Vertex AI Agent Builder 환경에서 비정형 데이터를 저장하고 챗봇에 활용하는 주요 단계와 기술은 다음과 같습니다.

1. Google Cloud Storage에 원본 파일 저장

• 저장 방식: PDF, PNG, JPG, Word 문서 등 원본 파일 그대로 GCS 버킷에 저장합니다. GCS는 대용량 비정형 데이터를 안정적으로 보관하는 데 최적화되어 있습니다.
• 목적: 이는 LLM이 처리할 수 있는 형태로 변환하기 위한 '원본 데이터 레이크' 역할을 합니다.

2. 정보 추출 및 변환 (Extraction & Conversion)

GCS에 저장된 파일은 LLM이 바로 이해할 수 없으므로, Vertex AI의 다양한 서비스를 이용하여 LLM이 이해할 수 있는 형태(텍스트 또는 임베딩)로 변환해야 합니다.

3. 추출된 텍스트의 벡터화 및 저장

추출된 텍스트는 RAG 시스템에서 활용할 수 있도록 벡터로 변환되어 저장됩니다.

• 청크 분할 (Chunking): 추출된 텍스트는 의미 단위로 나누어집니다. (예: 500 토큰 단위)
• 임베딩 (Embedding): Vertex AI의 텍스트 임베딩 모델을 사용하여 각 청크를 고차원 벡터로 변환합니다.
• 저장소: 벡터화된 데이터는 다음과 같은 곳에 저장됩니다.

Vertex AI Vector Search (권장): Google Cloud에서 제공하는 관리형 벡터 데이터베이스로, 고성능의 유사성 검색에 최적화되어 있습니다.

Google Cloud Storage (GCS): 일부 RAG 구현 방식에서는 벡터 데이터 자체를 GCS에 JSON, CSV 또는 Parquet 파일 형태로 저장하고, 필요할 때 로드하여 사용하기도 합니다.

4. Vertex AI Agent Builder와의 연동

Agent Builder는 이 모든 과정을 **'데이터 스토어(Data Store)'**라는 개념으로 통합하여 처리합니다.

• 데이터 스토어 연결: Agent Builder에서 GCS 버킷을 데이터 스토어로 지정합니다.
• 자동 처리: Agent Builder는 GCS에 새로운 문서가 업로드되면, Document AI 등의 내부 파이프라인을 자동으로 트리거하여 텍스트를 추출하고, 이를 벡터화하여 Vector Search에 자동으로 적재하는 과정을 관리합니다.
• 활용: 챗봇이 질문을 받으면, Agent Builder는 Vector Search에서 관련 벡터를 검색하여 Gemini 모델에 전달함으로써 비정형 데이터 기반의 정확한 답변을 생성하게 됩니다.

결론적으로, 비정형 데이터는 GCS에 원본 파일로 저장되지만, 챗봇이 활용하기 위해서는 Document AI나 멀티모달 LLM을 통해 텍스트로 추출된 후에야 비로소 벡터화되어 Vector Search에 저장됩니다.