Vertex AI Workbench (Notebooks) 상세 설명

Vertex AI Workbench는 Google Cloud의 통합된 기계 학습(ML) 개발 환경인 Vertex AI 플랫폼의 핵심 구성 요소입니다. 과거에는 'Vertex AI Notebooks'로 불렸으며, 현재는 기능이 확장되어 **"Vertex AI Workbench"**라는 이름으로 제공됩니다.

이는 데이터 과학자와 ML 엔지니어가 JupyterLab 환경에서 ML 모델을 개발하고 실험할 수 있도록 설계된 완전 관리형 컴퓨팅 인스턴스입니다.

제공되는 두 가지 Workbench 환경

Vertex AI Workbench는 사용자 환경 및 요구사항에 따라 두 가지 모드로 제공됩니다.

1. Managed Notebooks (관리형 노트북)

• 목적: 주로 데이터 과학자와 ML 연구자가 실험 및 개발에 사용하는 환경입니다.
• 특징:

① 인스턴스에 대한 세부적인 제어가 필요합니다.

② 수동 또는 예약 기반으로 시작/중지(Start/Stop)할 수 있어 비용 관리가 용이합니다.

③ Git 저장소 연동 및 세부적인 환경 설정을 직접 할 수 있습니다.

2. User-Managed Notebooks (사용자 관리형 노트북)

• 목적: 고도의 사용자 정의나 특정 OS 또는 환경 설정이 필요한 고급 사용자 및 엔지니어에게 적합합니다.
• 특징:

① VM 인스턴스에 대한 직접적인 접근 권한 (예: SSH)을 가집니다.

② 자체적인 Docker 컨테이너나 커스텀 환경을 구성하여 사용할 수 있습니다.

③ VM 인스턴스의 라이프사이클 관리를 사용자가 직접 해야 합니다.

주요 기능 및 이점

Vertex AI Workbench는 단순한 Jupyter 환경을 넘어, ML 개발을 가속화하는 다양한 기능을 제공합니다.

• 원클릭 학습 제출 (One-Click Training Job):

① 노트북에서 개발한 학습 코드를 별도의 설정 없이 Vertex AI Training Service에 제출하여 완전히 관리되는 환경에서 대규모 학습을 실행할 수 있습니다.

② 이는 노트북 인스턴스의 자원을 학습에 묶어두지 않고, 더욱 효율적으로 사용할 수 있게 합니다.

• 데이터 접근 용이성:

① GCP 서비스인 Cloud Storage, BigQuery 등에 대한 인증 및 접근이 기본적으로 설정되어 있어, 대규모 데이터를 쉽게 불러와 분석할 수 있습니다.

• MLOps 통합:

① 개발된 노트북을 Vertex AI Pipelines의 구성 요소로 변환하여, 데이터 처리부터 모델 배포까지 전체 ML 워크플로우를 자동화하는 파이프라인 구축이 용이합니다.

• 휴면 상태 자동 종료 (Idle Shutdown):

① 일정 시간 동안 사용자의 활동이 감지되지 않으면, 인스턴스가 자동으로 종료되어 불필요한 컴퓨팅 비용 낭비를 방지합니다. (Managed Notebooks의 핵심 비용 절감 기능)

Vertex AI Workbench의 용도

• 데이터 탐색 및 시각화: 대규모 데이터를 로드하여 전처리하고, 시각화 라이브러리를 사용해 데이터의 패턴을 분석합니다.
• 프로토타입 개발: 새로운 ML 알고리즘이나 모델 구조를 빠르게 테스트하고 검증하는 프로토타입 환경으로 사용됩니다.
• 코드 실험 및 디버깅: 모델 학습 코드를 작은 단위로 실행하며 결과를 즉각 확인하고 디버깅합니다.
• 교육 및 튜토리얼: 팀원이나 학생들에게 일관된 개발 환경을 제공하여 ML 교육을 진행합니다.