Vertex AI 기반으로 만든 챗봇(에이전트)에서 단순 텍스트 이외에 도표, 사진(이미지)으로 출력시키는 것은 가능합니다!

이는 챗봇이 사용자에게 정보를 더 시각적이고 효과적으로 전달할 수 있게 하여 사용자 경험(UX)을 크게 향상시킵니다. 

도표/사진 출력을 위한 핵심 기술 접목

Vertex AI 기반 챗봇에서 도표나 사진을 출력하기 위해서는 주로 다음 두 가지 기술을 접목해야 합니다.

1. 멀티모달 LLM 활용 (예: Gemini Pro Vision)

2. 함수 호출(Function Calling) & 외부 도구(Tools) 연동

이 두 가지 기술이 어떻게 작동하는지 자세히 설명해 드리겠습니다.

1. 멀티모달 LLM 활용 (Gemini Pro Vision)

Google의 Gemini Pro Vision 모델은 텍스트 입력뿐만 아니라 이미지 입력을 처리하고, 텍스트와 함께 이미지 관련 정보를 생성할 수 있는 멀티모달(Multimodal) 기능을 제공합니다. 이 모델의 활용 방식은 다음과 같습니다.

• 기능: 챗봇이 사용자 질문에 대한 답변을 생성할 때, 텍스트와 함께 새로운 이미지(도표, 그래프)를 생성하거나 기존 이미지를 검색하여 답변에 포함하도록 지시할 수 있습니다.
• 작동 방식:

1.이미지 생성 프롬프트: 챗봇이 "지난 3개월간의 판매량 추이를 꺾은선 그래프로 보여줘"와 같은 사용자 요청을 받습니다.

2. 이미지 생성 AI 연동: Gemini Pro Vision (또는 DALL-E, Midjourney 등 별도의 이미지 생성 모델) API를 호출하여 해당 요청에 맞는 이미지를 생성합니다. (이때 Gemini가 직접 생성하기보다는, 적절한 이미지 생성 API를 호출하도록 "함수 호출"을 사용할 수도 있습니다.)

3.결과 포함: 생성된 이미지 파일(URL 또는 Base64 인코딩)을 챗봇의 텍스트 답변에 함께 포함하여 사용자에게 전달합니다.

• 기술 접목:

a.Gemini Pro Vision (또는 다른 이미지 생성 API): 이미지 생성 기능을 가진 모델과의 API 연동이 필요합니다.

b.텍스트-이미지 변환 라이브러리: 만약 도표 데이터를 직접 그리는 경우, Python의 Matplotlib, Seaborn 등의 라이브러리를 사용하여 데이터를 시각화한 후 이미지 파일로 저장하고 이를 챗봇이 전송하게 할 수 있습니다.

2. 함수 호출(Function Calling) & 외부 도구(Tools) 연동

이것은 Vertex AI Agent Builder의 핵심 기능이며, 챗봇이 단순히 텍스트만 주고받는 것이 아니라 외부 시스템과 상호작용하여 도표나 사진을 가져오거나 생성하게 만드는 방법입니다.

• 기능: 챗봇이 외부 API (데이터 시각화 서비스, 이미지 검색 엔진, 내부 이미지 저장소 등)를 호출하여 필요한 도표나 사진을 얻거나 생성합니다.
• 작동 방식:

1.사용자 요청: "우리 회사의 월별 매출 그래프를 보여줘"

2. LLM의 의도 파악: Gemini 모델은 이 요청을 듣고 "매출 데이터를 조회하고 그래프로 시각화해야
한다"는 의도를 파악합니다.

3.함수 호출: 모델은 미리 정의된 **'매출 데이터 조회 함수'**와 **'그래프 생성 함수'**를 호출합니다.

a.데이터 조회 함수: 내부 DB에서 매출 데이터를 가져옵니다.

b.그래프 생성 함수: 가져온 매출 데이터를 바탕으로 Matplotlib 등으로 그래프 이미지를 생성하고, 이 이미지를 웹 서버에 업로드하여 URL을 반환합니다.

4.결과 반환: 챗봇은 생성된 그래프 이미지의 URL을 텍스트 답변과 함께 사용자에게 전송합니다.

• 기술 접목:

ⓐ API 개발: 도표 생성, 이미지 검색, 데이터 조회 등을 수행하는 **별도의 API 서버(백엔드)**를 개발해야 합니다. (Python, Node.js 등)

ⓑ 데이터 시각화 라이브러리: Python의 Matplotlib, Seaborn, Plotly 등을 사용하여 데이터를 도표 이미지로 변환하는 코드를 API 서버에 구현합니다.

ⓒ 이미지 저장소: 생성된 이미지를 저장하고 접근할 수 있는 클라우드 스토리지 (Google Cloud Storage 등) 또는 웹 서버가 필요합니다.

ⓓ 스키마 정의: Vertex AI Agent Builder에서 이 API들의 **스키마(함수의 입력/출력, 역할 정의)**를 정확히 정의하여 LLM이 올바르게 함수를 호출하도록 설정합니다.

구체적인 시각적 출력 활용 예시

데이터 기반 도표/그래프:

ⓐ "지난 분기 제품별 판매량을 막대 그래프로 보여줘."

ⓑ "지역별 인구 밀도 데이터를 히트맵으로 시각화해 줘."

이미지 검색 및 표시:

ⓐ "에펠탑 사진을 보여줘."

ⓑ "OOO 제품의 사용법 이미지를 찾아줘."

정보 전달용 인포그래픽:

ⓐ "재택근무 가이드를 인포그래픽으로 요약해서 보여줘." (미리 정의된 인포그래픽 템플릿에 데이터만 채워 넣는 방식)

이처럼 Vertex AI 챗봇에서 도표나 사진을 출력하는 것은 단순한 기능 추가를 넘어, 챗봇의 정보 전달력을 혁신적으로 개선하는 중요한 단계입니다.