部署超融合Ceph集群

通过使用{pve}，您可以享受到一个易于使用的Ceph安装向导的好处。点击您的集群节点之一，并在菜单树中导航至Ceph部分。如果Ceph尚未安装，您将看到一个提示，提供安装服务。

巫师被分成多个部分，每个部分都需要成功完成，才能使用Ceph。

首先，你需要选择你要安装的Ceph版本。优先选择其他节点上的版本，或者如果这是你安装Ceph的第一个节点，则选择最新的版本。

开始安装后，向导程序将从{pve}的Ceph存储库下载并安装所有必需的软件包。

完成安装步骤后，您将需要创建一个配置。这个步骤每个集群只需要进行一次，因为这个配置会通过 {pve} 的集群式配置文件系统 (pmxcfs)自动分发给集群中的所有其他成员。

配置步骤包括以下设置：

你还有两个选项被认为是高级的，因此只有在你知道自己在做什么的情况下才应该更改。

此外，您需要选择您的第一个监视器节点。这个步骤是必需的。

就这样了。您现在应该在最后一步看到一个成功页面，并获得关于如何继续操作的进一步指导。您的系统现在已经准备好开始使用Ceph了。要开始使用，您需要创建一些额外的监视器、OSDs以及至少一个池。

本章的其余部分将指导您充分利用基于{pve}的Ceph设置。这包括前述的技巧等更多内容，例如CephFS，这是对您的新Ceph集群的有益补充。

作为网页界面中推荐的{pve} Ceph安装向导的另一种选择，你可以在每个节点上使用以下CLI命令：

这将在 /etc/apt/sources.list.d/ceph.list 中设置一个 apt 软件包仓库，并安装所需的软件。

使用 {pve} Ceph 安装向导（推荐）或在一个节点上运行以下命令：

这会在 /etc/pve/ceph.conf 创建一个初始配置，其中为Ceph专用了一个网络。该文件会自动分发到所有的{pve}节点，使用pmxcfs来实现。该命令还会在 /etc/ceph/ceph.conf 创建一个指向该文件的符号链接。因此，您可以简单地运行Ceph命令，无需指定配置文件。

在每个你想要放置监控器的节点上（推荐三个监控器），通过使用GUI中的’Ceph → Monitor’标签页或运行以下命令来创建一个监控器：

要通过GUI删除一个Ceph监视器，首先在树视图中选择一个节点，然后转到Ceph → Monitor面板。选择MON并点击Destroy按钮。

要通过CLI移除一个Ceph Monitor，首先连接到运行MON的节点上。然后执行以下命令：

可以安装多个管理器，但任何给定时间内只有一个管理器处于活动状态。

要通过图形界面删除一个Ceph管理器，首先在树状视图中选择一个节点，然后转到Ceph → Monitor面板。选择管理器，然后点击Destroy按钮。

通过CLI移除一个Ceph监控器时，首先连接到运行管理器的节点。然后执行以下命令：

您可以通过{pve}网页界面或使用`pveceph`命令行界面来创建一个OSD。例如：

如果磁盘之前已经被使用过（例如，用作ZFS或作为OSD），你首先需要清除所有这些用途的痕迹。要移除分区表、引导扇区以及任何其他OSD遗留的内容，你可以使用以下命令：

从Ceph Kraken版本开始，引入了一种新的Ceph OSD存储类型，名为Bluestore ^[1]。从Ceph Luminous版本开始，创建OSDs时这是默认设置。

如果你想为你的OSD使用独立的数据库/写前日志设备，你可以通过'-db_dev’和'-wal_dev’选项来指定它。如果不单独指定，写前日志将和数据库放置在一起。

您可以分别使用'-db_size’和'-wal_size’参数直接选择它们的大小。如果没有提供这些参数，将按顺序使用以下值：

在Ceph Luminous之前，Filestore被用作Ceph OSD的默认存储类型。从Ceph Nautilus开始，{pve}不再支持使用’pveceph’创建这样的OSD。如果您仍然想要创建filestore OSD，请直接使用’ceph-volume'。

通过图形界面删除一个OSD，首先在树状视图中选择一个{PVE}节点，然后前往Ceph → OSD面板。接着选择要销毁的OSD并点击OUT按钮。一旦OSD状态从`in`变为`out`，点击STOP按钮。最后，状态从`up`变为`down`后，从`More`下拉菜单中选择Destroy。

通过CLI运行以下命令来删除一个OSD。

以下命令将销毁OSD。指定'-cleanup’选项以额外销毁分区表。

您可以通过任何{pve}主机的命令行或者Ceph → Pools下的网页界面来创建和编辑存储池。

当没有给出选项时，我们设置了默认值为 128个PGs、3副本的大小以及最小2副本的大小，以确保任何OSD失败时不会发生数据丢失。

建议您启用PG-Autoscaler或根据您的设置计算PG数量。您可以在网上找到公式和PG计算器的脚注：[PG计算器 https://web.archive.org/web/20210301111112/http://ceph.com/pgcalc/]。从Ceph Nautilus版本开始，您可以在设置之后改变PGs的数量，详见脚注：[placement_groups,Placement Groups {cephdocs-url}/rados/operations/placement-groups/]。

PG自动缩放器^[2]可以在后台自动调整池的PG数量。设置`目标大小`或`目标比例`高级参数有助于PG自动缩放器做出更好的决策。

擦除编码（EC）是一种“前向错误更正”代码形式，它允许从一定量的数据丢失中恢复。与复制池相比，擦除编码池可以提供更多可用空间，但它们以性能为代价。

为了对比：在传统的复制存储池中，数据的多个副本会被存储（size），而在纠删码存储池中，数据被分割成`k`个数据块和额外的`m`个编码（校验）块。这些编码块可以用于重新创建数据，以防数据块丢失。

编码块的数量，m，定义了可以丢失多少OSD而不丢失任何数据。存储的对象总量是 k + m。

通过GUI销毁存储池时，选择树视图中的一个节点并进入 Ceph → Pools 面板。选择要销毁的存储池然后点击 Destroy 按钮。为了确认销毁存储池，你需要输入存储池的名称。

运行以下命令来销毁一个资源池。指定 -remove_storages 以同时移除关联的存储。

PG自动扩缩器允许集群考虑每个池中存储的（预期的）数据量，并自动选择合适的pg_num值。它自Ceph Nautilus起就可用了。

您可能需要先激活PG自动调节模块，之后调整才能生效。

自动伸缩器按照每个池进行配置，具有以下模式：

缩放因子可以通过调整`target_size`、`target_size_ratio`和`pg_num_min`选项来便于未来的数据存储。

您可以在Ceph的博客上找到关于PG自动伸缩器的更深入的介绍 - Nautilus新功能：PG合并和自动调优。

CephFS至少需要配置和运行一个元数据服务器（Metadata Server）才能正常工作。你可以通过{pve}web GUI的`节点 → CephFS`面板或者使用命令行来创建一个MDS：

在一个集群中可以创建多个元数据服务器（MDS），但是在默认设置下，一次只有一个可以是活跃的。如果一个MDS或其节点变得无响应（或崩溃），另一个`备用`的MDS将被提升为`活跃`状态。您可以在创建时使用’hotstandby’参数选项来加速活跃和备用MDS之间的交接，或者如果您已经创建了，您可以设置/添加：

在 /etc/pve/ceph.conf 的相应 MDS 部分中。启用此功能后，指定的 MDS 将保持在“温暖”状态，轮询活跃节点，以便在出现任何问题时能够更快地接管。

自从Luminous (12.2.x)版本以来，你可以同时运行多个活跃的元数据服务器，但这通常只在你有大量并行运行的客户端时才有用。否则，`MDS`很少成为系统的瓶颈。如果你想设置这个，请参考Ceph文档。脚注：[配置多个活跃MDS守护进程 {cephdocs-url}/cephfs/multimds/]

随着 {pve} 对 CephFS 的集成，您可以轻松地使用 Web 界面、CLI 或外部 API 接口创建一个 CephFS。这需要满足一些先决条件：

完成此操作后，您可以通过Web GUI的`Node → CephFS`面板或命令行工具`pveceph`来简单创建一个CephFS，例如：

这将创建一个名为 cephfs 的CephFS，使用一个名为 cephfs_data 的池存储其数据，该数据池有 128 个放置组，还会使用一个名为 cephfs_metadata 的池存储其元数据，其放置组数量为数据池的四分之一（32）。检查{pve} 管理的Ceph池章节或访问Ceph文档，以获取更多关于为您的设置选择适当放置组数量 (pg_num) 的信息^{[placement_groups]}。此外，--add-storage 参数将在CephFS成功创建后将其添加到{pve}存储配置中。

要完全并优雅地删除一个CephFS，需要以下步骤：

完成这些步骤后，CephFS 应该完全被删除，如果你有其他 CephFS 实例，已停止的元数据服务器可以再次启动，作为备用服务器。

在Ceph中最常见的维护任务之一是替换OSD的磁盘。如果一个磁盘已经处于故障状态，那么你可以继续执行销毁OSDs中的步骤。如果可能的话，Ceph将在其余的OSD上重新创建那些副本。一旦检测到OSD故障或OSD被主动停止，这种重新平衡将立即开始。

要通过GUI替换一个功能正常的磁盘，请按照销毁OSD中的步骤操作。唯一的新增步骤是在停止要销毁的OSD之前，等到集群显示’HEALTH_OK’状态。

在命令行中，使用以下命令：

你可以使用下面的命令来检查OSD是否可以安全移除。

一旦上述检查告诉您移除OSD是安全的，您可以继续执行以下命令:

将旧硬盘替换为新硬盘，并使用在创建OSD中描述的相同步骤。

定期在虚拟机和容器上运行 fstrim（丢弃）是个好习惯。这将释放文件系统不再使用的数据块。它可以减少数据使用和资源负载。大多数现代操作系统会定期向它们的磁盘发出此类丢弃命令。您只需要确保虚拟机启用了磁盘丢弃选项。

Ceph通过对放置组进行“擦除”来确保数据的完整性。Ceph检查PG中的每个对象的健康状况。擦除有两种形式，每日的廉价元数据检查和每周的深度数据检查。每周深度擦除读取对象并使用校验和来确保数据完整性。如果正在进行的擦除干扰了业务（性能）需求，您可以调整执行擦除的时间 ^[4]。