Google Cloud Bigtable 상세 설명

Bigtable은 Google이 개발한 대규모 NoSQL 데이터베이스 서비스입니다. 2004년 Google 내부적으로 개발되어 구글 검색(Search), 지도(Maps), 지메일(Gmail), 유튜브(YouTube) 같은 핵심 서비스들의 데이터를 처리하기 위해 만들어졌으며, 현재는 Google Cloud(GCP)를 통해 일반 사용자에게 완전 관리형 서비스로 제공되고 있습니다.

한마디로 정의하자면, **"수십억 개의 행(Row)과 수천 개의 열(Column)을 가진 거대한 데이터를 아주 빠르게 읽고 쓸 수 있는 시스템"**입니다.

핵심 특징

데이터 모델 (구조)

Bigtable은 **"희소하고(Sparse), 분산된(Distributed), 다차원 정렬 맵(Multidimensional Sorted Map)"**이라고 정의됩니다.

• Row Key (행 키): 데이터를 찾는 유일한 기준(인덱스)입니다. 데이터는 이 키를 기준으로 사전순으로 자동 정렬됩니다. 설계를 잘해야 성능이 나옵니다.
• Column Family (열 패밀리): 관련된 컬럼들을 묶어놓은 그룹입니다. (예: User 패밀리 안에 name, email 컬럼 존재)
• Timestamp (타임스탬프): 하나의 셀(칸)에 여러 버전의 데이터를 시간 순서대로 저장할 수 있습니다. (예: 어제 주가, 오늘 주가)

언제 사용하면 좋을까요? (Use Cases)

Bigtable은 "엄청나게 많은 데이터를 빠르게 쓰고 읽어야 할 때" 가장 좋습니다.

1. 시계열 데이터 (Time-series): IoT 센서 데이터, 서버 로그, CPU/메모리 사용량 모니터링 등 시간이 지남에 따라 계속 쌓이는 데이터.
2. 마케팅/광고 데이터 (Ad Tech): 사용자 행동 로그, 클릭 히스토리, 실시간 추천을 위한 데이터.
3. 금융 데이터 (FinTech): 주식 거래 기록, 환율 정보, 사기 탐지(Fraud Detection)를 위한 거래 내역 분석.
4. 개인화 서비스: 수억 명의 사용자에 대한 프로필 및 설정 저장.

주의할 점 (RDBMS와의 차이)

• JOIN 연산 불가: SQL의 JOIN 처럼 여러 테이블을 합쳐서 조회하는 기능이 없습니다. (필요하다면 애플리케이션 레벨에서 처리하거나 설계를 다르게 해야 함)
• 복잡한 쿼리 제한: SQL처럼 복잡한 조건 검색보다는, **Key를 기반으로 한 조회(Point Lookup)나 범위 조회(Scan)**에 최적화되어 있습니다.
• 트랜잭션 제한: 단일 행(Row)에 대한 트랜잭션만 지원합니다. (여러 행에 걸친 복잡한 트랜잭션은 지원 X)

요약하자면:

작고 복잡한 관계를 가진 데이터는 MySQL/PostgreSQL이 좋고,

단순하지만 무지막지하게 크고 빠른 처리가 필요한 데이터는 Bigtable이 정답입니다.