샤딩과 파티셔닝 (Sharding vs Partitioning)

파티셔닝(Partitioning)은 큰 테이블을 규칙에 따라 여러 조각으로 나누어 저장하는 기법이고, 샤딩(Sharding)은 그 조각들을 서로 다른 데이터베이스 서버에 분산해 두는 기법이다. 파티셔닝이 한 서버 안에서 관리 효율과 쿼리 성능을 높이는 수단이라면, 샤딩은 한 서버의 한계를 넘어 쓰기 처리량과 저장 용량 자체를 수평 확장하는 수단이다. 샤딩은 강력하지만 샤드 키 선택, 리밸런싱, 크로스 샤드 쿼리라는 비용을 함께 치러야 한다.

수평 분할과 수직 분할

데이터를 나누는 방향은 두 가지다. 수평 분할(horizontal partitioning)은 행(row)을 기준으로 나눈다. 예를 들어 주문 테이블을 주문 일자별로, 혹은 사용자 ID 범위별로 나누면 각 조각은 스키마가 같고 담긴 행만 다르다. 수직 분할(vertical partitioning)은 열(column)을 기준으로 나눈다. 자주 조회하는 열과 크고 드물게 쓰는 열(본문, 이미지 메타데이터 등)을 다른 테이블로 분리하는 식이다. 흔히 말하는 샤딩은 수평 분할을 여러 서버로 확장한 것이고, 마이크로서비스에서 도메인별로 데이터베이스를 분리하는 것은 수직 분할을 서버 단위로 확장한 것에 가깝다.

파티셔닝과 샤딩 비교

구분	파티셔닝	샤딩
분산 범위	한 데이터베이스 서버 내부	여러 데이터베이스 서버
주된 목적	관리 효율, 파티션 프루닝으로 조회 최적화	쓰기 처리량과 용량의 수평 확장
라우팅 주체	데이터베이스가 자동 처리	애플리케이션이나 미들웨어가 담당
트랜잭션과 조인	서버 내부라 대체로 자유롭다	샤드를 넘는 순간 크게 제약된다
대표 예	로그 테이블의 월별 파티션	사용자 ID 해시로 나눈 N대의 DB

파티셔닝의 대표 효과는 파티션 프루닝(partition pruning)이다. 월별로 나눈 로그 테이블에서 특정 월을 조회하면 데이터베이스가 해당 파티션만 읽는다. 오래된 데이터 삭제도 파티션 하나를 통째로 제거하면 되므로 대량 DELETE보다 훨씬 가볍다. 반면 샤딩은 하드웨어 한 대의 물리적 한계를 넘는 유일한 수평 확장 수단이지만, 데이터베이스가 제공하던 편의를 애플리케이션이 떠안게 된다.

샤드 키 선택이 성패를 가른다

샤드 키(shard key)는 어떤 행이 어느 샤드에 갈지 정하는 기준 열이다. 좋은 샤드 키의 조건은 두 가지다. 첫째, 데이터와 트래픽이 샤드들에 고르게 퍼져야 한다. 특정 값에 트래픽이 몰리면 그 샤드만 뜨거워지는 핫스팟(hotspot)이 생긴다. 둘째, 주요 쿼리가 샤드 키를 조건에 포함해 한 샤드만으로 처리되어야 한다. 분배 방식은 크게 세 가지다.

• 해시 기반. 키의 해시값으로 샤드를 정한다. 분포는 고르지만 범위 조회가 모든 샤드로 흩어진다.
• 범위 기반. 키 구간별로 샤드를 정한다. 범위 조회에 유리하지만 최신 데이터에 쓰기가 몰리는 핫스팟이 생기기 쉽다.
• 디렉터리 기반. 키와 샤드의 매핑 테이블을 따로 둔다. 유연하지만 매핑 저장소가 단일 장애점이 될 수 있다.

예를 들어 사용자 중심 서비스라면 user_id를 해시하는 선택이 무난하다. 한 사용자의 주문, 프로필, 활동이 같은 샤드에 모여 대부분의 요청이 샤드 하나로 끝나기 때문이다. 반대로 생성 시각을 샤드 키로 잡으면 모든 신규 쓰기가 마지막 샤드에 몰리는 전형적인 실패 사례가 된다.