匹茲堡與克里夫蘭企業的 Ceph 與 ZFS 儲存

ZFS：單一伺服器內部的儲存

ZFS 結合了檔案系統與磁碟區管理員，並內建於 Proxmox VE。典型的設計是單一 Proxmox 主機採用 ZFS，或兩部主機互相複寫，並將備份存放到另一套獨立的系統。

• 儲存池：磁碟以鏡像或 RAID-Z 方式分組。ZFS 需要直接存取每顆磁碟，而不是硬體 RAID 磁碟區。
• 檢查碼與資料清理：ZFS 能偵測磁碟悄悄損毀的資料，並從備援副本中修復。
• 快照：虛擬機器磁碟在某個時間點的副本，可在更新或有風險的變更之前於數秒內建立。
• 複寫：依排程將快照傳送到第二部伺服器。如果第一部主機故障，第二部會啟動它的機器，只會遺失上次複製之後的變更。

Ceph：跨多部伺服器的儲存

Ceph 將多部伺服器中的磁碟整合成單一儲存系統，並將每一份資料的副本保存在不同的機器上。如果某顆磁碟或整部伺服器故障，資料仍可使用，叢集也會自行重建遺失的副本。沒有任何單一儲存控制器能讓整體停擺。Ceph 以三種方式提供這個儲存池：

• 區塊 (RBD)：提供給虛擬機器使用的虛擬磁碟。Proxmox 使用的就是這種方式。
• 檔案 (CephFS)：可讓多部伺服器同時掛載的共用檔案系統。
• 物件：提供給應用程式與備份軟體使用、相容 S3 的閘道。

Ceph 至少需要三部伺服器、專用的儲存網路，以及懂得判讀其健康狀態的人員。警告通常是磁碟故障或儲存池逼近上限的早期通知，我們會在它出現時立即調查。

哪一種比較合適

• 一部伺服器：ZFS。Ceph 的設計是將資料分散到多部機器，在單一伺服器上沒有任何好處。
• 兩部伺服器：各自使用 ZFS，並互相複寫。雙節點的 Proxmox 叢集還需要一個小型的第三方裝置來打破平手，讓兩部主機對由誰負責達成一致。
• 三部以上的伺服器，且機器必須在別處重新啟動而不遺失任何變更：Ceph，並在主機之間建立儲存網路。
• 跨多部伺服器的共用檔案或 S3 儲存：Ceph。

ZFS 是較容易維運的系統。我們的 Proxmox 顧問服務頁面說明了這項決策中伺服器端的部分。

容量與健康狀態

兩種系統都需要保留可用空間。ZFS 儲存池在接近滿載時會變慢。每個物件保存三份副本的 Ceph 叢集，可用空間大約是原始空間的三分之一，而且還需要更多餘裕，因為它會把遺失的副本重建到剩餘的空間中。Ceph 叢集一旦滿載就會停止接受寫入。我們規劃儲存的規模時，會讓它在失去一顆磁碟或一個 Ceph 節點之後，仍有足夠的空間進行重建。

復原降級的儲存

第一條原則是避免讓情況惡化。在 ZFS 上，這通常意味著確認是哪顆磁碟故障、將它更換，並讓儲存池重建。在 Ceph 上，常見的原因包括磁碟故障、節點停機、網路設定錯誤，或叢集太滿。我們會找出原因，並以小步驟逐步驗證。

這兩種系統都無法防範刪除、勒索軟體或錯誤的變更。請將您的儲存搭配經過測試的備份與復原規劃。如果儲存是用於容器，請參閱 Linux 與 Kubernetes 顧問服務。

合作流程

1. 評估。我們檢視硬體、網路與儲存的健康狀態。
2. 工作範圍。您會收到一份載明風險與作業順序的書面計畫。
3. 實作與驗證。我們進行建置或修復、測試故障情境，並為儲存撰寫文件。
4. 維運。可自由選擇監控與升級服務，不綁約。

我們會在一個工作日內回覆。克里夫蘭地區的現場工作配合專案安排。

關於企業儲存的常見問題

我們應該用 ZFS 還是 Ceph？

主要取決於您有多少部伺服器。一到兩部適合 ZFS。三部以上，且機器必須在失去一部伺服器時仍持續運作，則適合 Ceph。

Ceph 需要幾部伺服器？

至少三部，並在它們之間建立適當的儲存網路。三部是能在失去一部伺服器後仍持續提供資料的最小叢集。

你們能接手別人建置的 ZFS 或 Ceph 儲存嗎？

可以。我們會檢視健康狀態與設定、修正有問題的地方，並撰寫文件。

快照或 Ceph 複本可以取代我們的備份嗎？

不行。ZFS 快照與資料位於同一批磁碟上，而 Ceph 會把每個錯誤複製到每個複本。存放在獨立系統上的備份，才能讓您從錯誤與攻擊中復原。