Хранилище Ceph и ZFS для компаний в Питтсбурге и Кливленде

ZFS: хранилище внутри одного сервера

ZFS объединяет файловую систему и менеджер томов и встроен в Proxmox VE. Типичная схема: один узел Proxmox на ZFS или два узла, реплицирующие друг на друга, с резервным копированием на отдельную систему.

• Пулы: диски, сгруппированные как зеркала или RAID-Z. ZFS нужен прямой доступ к каждому диску, а не том аппаратного RAID.
• Контрольные суммы и проверки (scrub): ZFS обнаруживает данные, незаметно повреждённые диском, и исправляет их из избыточной копии.
• Снимки: копия диска виртуальной машины на момент времени, создаваемая за секунды перед обновлением или рискованным изменением.
• Репликация: снимки, отправляемые на второй сервер по расписанию. Если первый узел выходит из строя, второй запускает его машины, теряя только изменения после последней копии.

Ceph: хранилище на нескольких серверах

Ceph объединяет диски нескольких серверов в одну систему хранения и держит копии каждого фрагмента данных на разных машинах. Если выходит из строя диск или целый сервер, данные остаются доступными, а кластер сам восстанавливает недостающие копии. Ни один контроллер хранилища не может обрушить всё. Ceph предоставляет этот пул тремя способами:

• Блочное (RBD): виртуальные диски для виртуальных машин. Именно это использует Proxmox.
• Файловое (CephFS): общая файловая система, которую могут одновременно монтировать многие серверы.
• Объектное: S3-совместимый шлюз для приложений и программ резервного копирования.

Ceph требует минимум трёх серверов, выделенной сети хранилища и человека, который понимает его состояния здоровья. Предупреждение обычно является ранним сигналом об отказавшем диске или пуле, приближающемся к пределу, и мы разбираемся с ним, как только оно появляется.

Что подходит

• Один сервер: ZFS. Ceph создан для распределения данных по машинам и на одном сервере ничего не даёт.
• Два сервера: ZFS на каждом, с репликацией друг на друга. Кластеру Proxmox из двух серверов также нужно небольшое третье устройство для разрешения ничьей, чтобы оба узла согласовывали, какой из них главный.
• Три сервера или больше, и машины должны перезапускаться на другом узле без потери изменений: Ceph, с сетью хранилища между узлами.
• Общие файлы или хранилище S3 для многих серверов: Ceph.

ZFS проще в эксплуатации. Серверная сторона этого решения описана на нашей странице консультаций по Proxmox.

Ёмкость и состояние

Обеим системам нужно свободное место. Пул ZFS замедляется, когда близок к заполнению. В кластере Ceph с тремя копиями каждого объекта полезной остаётся примерно треть сырого объёма, и ему нужно ещё больше, потому что он восстанавливает потерянные копии в оставшееся место. Заполненный кластер Ceph перестаёт принимать запись. Мы рассчитываем хранилище так, чтобы оно могло потерять диск или узел Ceph и всё ещё иметь место для перестроения.

Восстановление деградировавшего хранилища

Первое правило: не сделать хуже. В ZFS это обычно означает определить, какой диск вышел из строя, заменить его и дать пулу перестроиться. В Ceph обычные причины это отказавшие диски, недоступный узел, неправильно настроенная сеть или переполненный кластер. Мы находим причину и работаем небольшими проверяемыми шагами.

Ни одна из систем не защищает от удаления, программ-вымогателей и неудачных изменений. Сочетайте хранилище с проверенными резервными копиями и планированием восстановления. Если хранилище обслуживает контейнеры, смотрите консультации по Linux и Kubernetes.

Как проходит работа

1. Оцениваем. Мы проверяем оборудование, сеть и состояние хранилища.
2. Определяем объём. Вы получаете письменный план с рисками и порядком работ.
3. Внедряем и проверяем. Мы строим или ремонтируем, проверяем сценарии отказа и документируем хранилище.
4. Эксплуатируем. Необязательные мониторинг и обновления, без привязки к нам.

Отвечаем в течение одного рабочего дня. Выездные работы в районе Кливленда планируются под проект.

Вопросы о корпоративных хранилищах

Использовать ZFS или Ceph?

В основном это зависит от числа серверов. Один или два указывают на ZFS. Три или больше, когда машины должны продолжать работать при потере сервера, указывают на Ceph.

Сколько серверов нужно Ceph?

Минимум три, с полноценной сетью хранилища между ними. Три это наименьший кластер, который может потерять сервер и продолжить отдавать данные.

Можете ли вы принять хранилище ZFS или Ceph, построенное кем-то другим?

Да. Мы проверяем состояние и конфигурацию, исправляем неполадки и документируем.

Могут ли снимки или реплики Ceph заменить резервные копии?

Нет. Снимки ZFS находятся на тех же дисках, что и данные, а Ceph копирует каждую ошибку на каждую реплику. Резервные копии на отдельной системе позволяют восстановиться после ошибок и атак.