피츠버그와 클리블랜드 기업을 위한 Ceph 및 ZFS 스토리지

ZFS: 서버 한 대 안의 스토리지

ZFS는 파일 시스템과 볼륨 관리자를 결합한 것이며 Proxmox VE에 내장되어 있습니다. 일반적인 설계는 ZFS를 사용하는 Proxmox 호스트 한 대, 또는 서로 복제하는 호스트 두 대이며, 백업은 별도의 시스템에 보관합니다.

• 풀: 디스크를 미러 또는 RAID-Z로 묶습니다. ZFS는 하드웨어 RAID 볼륨이 아니라 각 디스크에 직접 접근해야 합니다.
• 체크섬과 스크럽: 디스크가 조용히 손상시킨 데이터를 ZFS가 감지하고 이중화된 사본으로 복구합니다.
• 스냅샷: 업데이트나 위험한 변경 전에 몇 초 만에 만드는 가상 머신 디스크의 특정 시점 사본입니다.
• 복제: 스냅샷을 일정에 따라 두 번째 서버로 보냅니다. 첫 번째 호스트가 고장 나면 두 번째 호스트가 머신을 시작하며, 마지막 복사 이후의 변경만 유실됩니다.

Ceph: 여러 서버에 걸친 스토리지

Ceph는 여러 서버의 디스크를 하나의 스토리지 시스템으로 묶고, 각 데이터 조각의 사본을 서로 다른 머신에 보관합니다. 드라이브나 서버 전체가 고장 나도 데이터는 계속 이용할 수 있고, 클러스터가 사라진 사본을 스스로 다시 만듭니다. 스토리지 컨트롤러 하나가 모든 것을 멈출 수는 없습니다. Ceph는 이 풀을 세 가지 방식으로 제공합니다.

• 블록(RBD): 가상 머신용 가상 디스크입니다. Proxmox가 사용하는 방식입니다.
• 파일(CephFS): 여러 서버가 동시에 마운트할 수 있는 공유 파일 시스템입니다.
• 오브젝트: 애플리케이션과 백업 소프트웨어를 위한 S3 호환 게이트웨이입니다.

Ceph에는 최소 세 대의 서버, 전용 스토리지 네트워크, 상태 값을 이해하는 담당자가 필요합니다. 경고는 대개 드라이브 고장이나 한계에 가까워진 풀에 대한 사전 알림이며, 경고가 뜨면 바로 조사합니다.

어떤 것이 적합한가

• 서버 한 대: ZFS. Ceph는 데이터를 여러 머신에 분산하도록 만들어졌으므로 서버 한 대에서는 이점이 없습니다.
• 서버 두 대: 각각 ZFS를 쓰고 서로 복제합니다. 두 대짜리 Proxmox 클러스터에는 동률을 해소할 작은 세 번째 장치도 필요하며, 이를 통해 두 호스트가 어느 쪽이 주도권을 갖는지 합의합니다.
• 서버 세 대 이상이며 변경 유실 없이 머신이 다른 곳에서 재시작되어야 하는 경우: Ceph를 쓰고 호스트 사이에 스토리지 네트워크를 둡니다.
• 여러 서버에 걸친 공유 파일 또는 S3 스토리지: Ceph.

ZFS는 운영이 더 단순한 시스템입니다. 이 결정의 서버 측면은 Proxmox 컨설팅 페이지에서 다룹니다.

용량과 상태

두 시스템 모두 여유 공간이 필요합니다. ZFS 풀은 가득 차 갈수록 느려집니다. 객체마다 사본을 세 개 두는 Ceph 클러스터는 원시 용량의 약 3분의 1만 사용할 수 있으며, 사라진 사본을 남은 공간에 다시 만들기 때문에 그 위에 더 많은 공간이 필요합니다. 가득 찬 Ceph 클러스터는 쓰기를 받지 않게 됩니다. 드라이브나 Ceph 노드 하나를 잃고도 재구축할 공간이 남도록 스토리지 규모를 산정합니다.

성능이 저하된 스토리지 복구

첫 번째 원칙은 상황을 악화시키지 않는 것입니다. ZFS에서는 대개 어떤 디스크가 고장 났는지 확인하고, 교체하고, 풀이 재구축되도록 두는 것을 뜻합니다. Ceph에서 흔한 원인은 고장 난 드라이브, 다운된 노드, 잘못 구성된 네트워크, 너무 가득 찬 클러스터입니다. 원인을 찾고 작은 단계로 검증하며 작업합니다.

두 시스템 모두 삭제, 랜섬웨어, 잘못된 변경으로부터 보호해 주지 않습니다. 스토리지에 검증된 백업과 복구 계획을 함께 두십시오. 스토리지가 컨테이너를 위한 것이라면 Linux 및 Kubernetes 컨설팅을 참고하십시오.

진행 방식

1. 평가. 하드웨어, 네트워킹, 스토리지 상태를 검토합니다.
2. 범위 정의. 위험 요소와 작업 순서가 담긴 서면 계획을 드립니다.
3. 구현 및 검증. 구축 또는 수리하고, 장애 시나리오를 테스트하며, 스토리지를 문서화합니다.
4. 운영. 모니터링과 업그레이드는 선택 사항이며 계약 종속은 없습니다.

영업일 기준 1일 이내에 답변드립니다. 클리블랜드 지역 현장 작업은 프로젝트 일정에 맞춰 진행합니다.

기업 스토리지에 대한 질문

ZFS와 Ceph 중 무엇을 써야 합니까?

대체로 서버 수에 달려 있습니다. 한두 대라면 ZFS가 맞습니다. 세 대 이상이고 서버 하나를 잃어도 머신이 계속 실행되어야 한다면 Ceph가 맞습니다.

Ceph에는 서버가 몇 대 필요합니까?

최소 세 대이며, 그 사이에 제대로 된 스토리지 네트워크가 필요합니다. 세 대는 서버 하나를 잃고도 데이터를 계속 제공할 수 있는 가장 작은 클러스터입니다.

다른 업체가 구축한 ZFS나 Ceph 스토리지도 인수할 수 있습니까?

네. 상태와 구성을 검토하고, 잘못된 부분을 고치며, 문서화합니다.

스냅샷이나 Ceph 복제본으로 백업을 대신할 수 있습니까?

아닙니다. ZFS 스냅샷은 데이터와 같은 디스크에 있고, Ceph는 모든 실수를 모든 복제본에 그대로 복사합니다. 별도 시스템의 백업이 있어야 실수와 공격에서 복구할 수 있습니다.