MongoDB (Sharding)
오픈소스 기반 문서(Document) 저장을 위한 MongoDB 컴포넌트(샤드클러스터)
오픈소스 기반 문서(Document) 저장을 위한 MongoDB 컴포넌트(복제본)
오픈소스 비관계형 데이터베이스 관리 시스템(DMBS)으로, 테이블과 행 대신 유연한 문서를 활용해 다양한 데이터 형식을 처리하고 저장합니다. NoSQL 데이터베이스 솔루션인 MongoDB는 관계형 데이터베이스 관리 시스템(RDBMS)을 필요로 하지 않으므로, 사용자가 다변량 데이터 유형을 손쉽게 저장하고 쿼리할 수 있는 탄력적인 데이터 저장 모델을 제공합니다. 이는 개발자의 데이터베이스 관리를 간소화할 뿐 아니라, 뛰어난 확장성을 갖춘 크로스 플랫폼 애플리케이션 및 서비스 환경을 구축합니다.
- MongoDB는 데이터를 유연한 JSON 유사 문서에 저장합니다 . 즉, 필드가 문서에 따라 다를 수 있으며, 데이터 구조가 시간에 따라 변할 수 있습니다.
- 문서 모델은 애플리케이션 코드의 객체들로 맵핑하며 , 데이터를 작업하기 쉽게 만듭니다.
- 임시 쿼리, 인덱싱, 실시간 집합 강력한 데이터 액세스 및 분석 방법 제공.
- MongoDB는 코어에서 배포된데이터베이스로, 매우 높은 가용성, 수평 확장, 지리적 분포가 빌트인되고 사용하기가 용이합니다.
샤딩은 대용량 데이터베이스 또는 데이터에 대해서 여러 시스템에 데이터를 저장, 처리 할 수 있도록 처리 또는 배포하는 방법입니다.
데이터 세트가 크거나 처리량이 많은 애플리케이션을 사용하는 데이터베이스 시스템은 단일 서버의 용량에 문제가 될 가능성이 존재합니다. 또는 쿼리의 처리가 늦거나 쿼리 요청이 많다면 서버의 CPU 사용량이 많이 증가 할 수 있으며, 시스템의 메모리(RAM) 또는 설정된 캐시(버퍼풀) 크기보다 더 큰 작업 세트 크기는 많은 디스크 I/O를 유발할 수도 있습니다.
그래서 대용량 데이터를 다루는 여러 방안 중에 하나가 샤딩 이라는 기술이며, MongoDB에서는 샤딩을 구현(적용) 하려면 Shard Cluster(샤드 클러스터)를 통해서 사용할 수 있으며, 샤드 클러스터는 MongoDB의 주요한 핵심 기능 또는 메인 기능이라고 할 수 있습니다. MongoDB는 샤딩을 통해 수평 스케일링을 지원합니다.
MongoDB의 샤드 클러스터는 아래와 같은 구성 요소를 가지고 있습니다.
- shard : shard 또는 shard server라고 하며 실제 데이터를 저장하고 있는 데이터 노드입니다.
- mongos: 쿼리 라우터 역할을 통해서 클라이언트 응용 프로그램과 샤드 클러스터 간의 인터페이스를 제공합니다.
- config server: 샤드 클러스터에 대한 메타데이터 및 구성 설정 정보를 저장합니다.
Turaco에서는 드래그 & 드롭을 통해 몇가지 설정만으로 쿠버네티스 클러스터내에 MongoDB 샤드 클러스터를 구성할 수 있습니다.
본 챕터에서는 MongoDB 샤드클러스터 컴포넌트에 대해 설명합니다.
컴포넌트 배치
MongoDB(샤드 클러스터) 컴포넌트는 아키텍처 설계 화면 (이하 디자이너 화면)에서 좌측에 위치한 컴포넌트 목록에서 데이터베이스 카테고리에 있습니다.
- 설계화면 왼쪽 컴포넌트 리스트 화면에서 MongoDB 컴포넌트를 선택 후 디자이너 화면으로 드래그 & 드롭합니다.
- 배치된 MongoDB 컴포넌트에 대한 이름과 설명을 입력 후 확인 버튼을 클릭합니다. 이름과 설명은 필수 입력값이며 입력하지 않으면 확인 버튼이 활성화되지 않습니다.
호스트
호스트 설정은 외부에 별도로 운영중인 MongoDB 데이터베이스가 이미 있는 경우, 해당 시스템을 사용하기 위한 옵션입니다.
외부에 이미 운영중인 시스템을 사용하기를 원할 경우, 해당 시스템에 대한 엔드포인트를 입력합니다.
호스트 항목에 엔드포인트를 입력하면 설계 후 애플리케이션 생성시 MongoDB 생성을 위한 리소스가 생성되지 않습니다. 백엔드 코드에 호스트에 입력한 엔드포인트가 주입되어 생성됩니다.
샤딩 환경 설정
Turaco에서는 데이터베이스 등과 같은 인스턴스를 생성할때 초기 환경값을 사용자가 수정해서 커스터마이징 할수 있게 지원하고 있습니다. 설정값 지정 시, 애플리케이션 생성시 쿠버네티스의 ConfigMap 또는 Secret와 같은 리소스로 생성됩니다.
환경 설정은 필수로 입력해야하며 아래와 같은 순서로 속성값을 지정합니다.
- 환경 설정 속성창에서 환경 설정 추가를 위한 버튼을 클릭하면 환경 설정을 위한 팝업창이 나타납니다.
- 환경 설정을 선택하기 위한 드롭다운 버튼을 클릭합니다.
- 드롭다운 메뉴에서 'Configuration' 항목을 선택합니다.
- 선택된 설정값을 가져오기 위해 '적용' 버튼을 클릭합니다.
- 선택된 값이 속성 창에 주입됩니다.
환경 설정은 ConfigMap으로 제공되며 전체 항목은 다음과 같습니다.
apiVersion: v1
kind: ConfigMap
metadata:
name: `{{ .Values.mongodb.name }}`-sharded-replicaset-entrypoint
namespace: `{{ .Values.namespace }}`
labels:
app.kubernetes.io/name: mongo-sharded
helm.sh/chart: mongodb-sharded-6.3.3
app.kubernetes.io/instance: turaco
app.kubernetes.io/managed-by: Helm
data:
replicaset-entrypoint.sh: |-
#!/bin/bash
sleep 5
. /liblog.sh
# Perform adaptations depending on the host name
if [[ $HOSTNAME =~ (.*)-0$ ]]; then
info "Setting node as primary"
export MONGODB_REPLICA_SET_MODE=primary
else
info "Setting node as secondary"
export MONGODB_REPLICA_SET_MODE=secondary
export MONGODB_INITIAL_PRIMARY_ROOT_PASSWORD="$MONGODB_ROOT_PASSWORD"
unset MONGODB_ROOT_PASSWORD
fi
exec /entrypoint.sh /run.sh
{{ }} 안의 값을 변경 시, 배포할때 정상적으로 되지 않을 수 있으니 변경하지 않도록 합니다.
포트 설정
8. 포트 정보는 3가지 정보를 반드시 입력해야 합니다.
미 입력시 컨테이너 실행 후 정상적으로 접속이 되지 않을 수 있습니다.
스토리지 설정
컨테이너는 로컬 스토리지를 사용할 수 있으나 컨테이너의 특성상 재시작되거나 삭제되는 경우 저장된 데이터가 같이 삭제됩니다. 이러한 특성 때문에 외부에 영구 볼륨을 설정하고 저장을 해야 데이터가 유실되지 않고 보관이 됩니다.
Turaco에서는 운영 환경에서 많이 사용하는 2가지 스토리지 클래스를 지원합니다.
- NFS 기반의 스토리지 클래스 (tlc-nfs-sc)
- Disk 기반의 스토리지 클래스 (tlc-block-sc)
Turaco에서 MongoDB 컴포넌트에서 스토리지 클래스 및 접근모드는 아래와 같이 고정값으로 지정되어 있으며 수정할 수 없습니다.
- 접근모드 -> ReadWriteOnce
- 스토리지 클래스 -> tlc-block-sc
9. 스토리지 설정에는 아래와 같이 3개의 속성이 있습니다. 접근 모드는 아래와 같이 3가지 속성이 있는데, MongoDB 컴포넌트에서는 고정(ReadWriteOnce)되어 있습니다.
