ピッツバーグとクリーブランドの企業向けCephとZFSストレージ

ZFS: 1台のサーバー内のストレージ

ZFSはファイルシステムとボリュームマネージャーを兼ね備えており、Proxmox VEに組み込まれています。一般的な設計は、ZFSを使う1台のProxmoxホスト、または相互にレプリケーションする2台のホストで、バックアップは別のシステムに取ります。

• プール:ディスクをミラーまたはRAID-Zにまとめます。ZFSには、ハードウェアRAIDのボリュームではなく、各ディスクへの直接アクセスが必要です。
• チェックサムとスクラブ:ディスクが気づかないうちに破損させたデータをZFSが検出し、冗長コピーから修復します。
• スナップショット:仮想マシンのディスクのある時点のコピーで、アップデートやリスクのある変更の前に数秒で取得できます。
• レプリケーション:スナップショットを定期的に2台目のサーバーへ送ります。1台目のホストが故障しても、2台目がマシンを起動し、失われるのは最後のコピー以降の変更だけです。

Ceph: 複数のサーバーにまたがるストレージ

Cephは、複数のサーバーのディスクを1つのストレージシステムにまとめ、データの各部分のコピーを別々のマシンに保持します。ドライブまたはサーバー全体が故障してもデータは利用でき続け、クラスターは失われたコピーを自動的に再構築します。単一のストレージコントローラーがすべてを停止させることはありません。Cephは、このプールを3つの方式で提供します。

• ブロック(RBD):仮想マシン用の仮想ディスク。Proxmoxが使用する方式です。
• ファイル(CephFS):多数のサーバーが同時にマウントできる共有ファイルシステム。
• オブジェクト:アプリケーションやバックアップソフトウェア向けのS3互換ゲートウェイ。

Cephには、最低3台のサーバー、専用のストレージネットワーク、そしてその状態表示を理解している担当者が必要です。警告は、たいていドライブの故障やプールの上限接近の早期通知であり、当社は警告が出た時点で調査します。

どちらが適しているか

• サーバー1台:ZFS。Cephは複数のマシンにデータを分散させるための仕組みで、1台のサーバーでは利点がありません。
• サーバー2台:それぞれにZFSを使い、相互にレプリケーションします。2台構成のProxmoxクラスターには、決定の同数を避けるために小型の3台目のデバイスも必要で、これにより、両方のホストがどちらを主とするかについて合意できます。
• サーバー3台以上で、変更を失わずにマシンを別の場所で再起動する必要がある場合:Ceph。ホスト間にストレージネットワークを用意します。
• 多数のサーバーにまたがる共有ファイルまたはS3ストレージ:Ceph。

ZFSのほうが運用は簡単です。サーバー側の判断については、Proxmoxコンサルティングのページで説明しています。

容量と健全性

どちらのシステムにも空き容量が必要です。ZFSのプールは、満杯に近づくと遅くなります。各オブジェクトを3つ複製するCephクラスターでは、使用できるのは物理容量のおよそ3分の1で、さらに、失われたコピーを残りの領域に再構築するため、余裕が必要です。満杯になったCephクラスターは、書き込みを受け付けなくなります。当社は、ドライブ1本、またはCephノード1台を失っても再構築の余地が残るように、ストレージの容量を設計します。

劣化したストレージの復旧

最初のルールは、状況を悪化させないことです。ZFSでは、通常、故障したディスクを特定して交換し、プールの再構築を待つことを意味します。Cephでは、ドライブの故障、ノードの停止、ネットワークの設定ミス、クラスターの使いすぎが主な原因です。当社は原因を突き止め、検証しながら小さな手順で進めます。

どちらのシステムも、削除、ランサムウェア、誤った変更からは保護しません。ストレージには、テスト済みのバックアップと復旧計画を組み合わせてください。ストレージがコンテナ向けの場合は、LinuxとKubernetesのコンサルティングをご覧ください。

導入の進め方

1. 評価。ハードウェア、ネットワーク、ストレージの健全性を確認します。
2. 範囲の確定。リスクと作業順序を記載した書面の計画をお渡しします。
3. 実装と検証。構築または修復を行い、障害のシナリオをテストして、ストレージを文書化します。
4. 運用。監視とアップグレードは任意で、縛りはありません。

1営業日以内にご返信します。クリーブランド周辺の現地作業は、プロジェクトに合わせて日程を調整します。

企業向けストレージに関するご質問

ZFSとCephのどちらを使うべきですか?

主に、サーバーの台数で決まります。1台か2台ならZFSが向いています。3台以上で、サーバーを1台失ってもマシンが動き続ける必要がある場合は、Cephが向いています。

Cephには何台のサーバーが必要ですか?

最低3台で、サーバー間に適切なストレージネットワークが必要です。3台は、サーバーを1台失ってもデータを提供し続けられる最小のクラスターです。

他社が構築したZFSやCephのストレージを引き継げますか?

はい。健全性と設定を確認し、問題を修正し、文書化します。

スナップショットやCephのレプリカをバックアップの代わりにできますか?

いいえ。ZFSのスナップショットはデータと同じディスクにあり、Cephはあらゆる誤りをすべてのレプリカにコピーします。別のシステムにあるバックアップがあれば、誤りや攻撃から復旧できます。