集群管理器

在 Datacenter → Cluster 下，点击 Create Cluster。输入集群名称并从下拉列表中选择一个网络连接作为主集群网络（Link 0）。它默认使用通过节点主机名解析的IP。

截至 {pve} 6.2 版本，集群中可以添加多达 8 个备用链接。要添加冗余链接，请点击“添加”按钮，然后从相应字段中选择链接编号和 IP 地址。在 {pve} 6.2 版本之前，要添加第二个作为备用的链接，您可以选中“高级”复选框并选择一个额外的网络接口（链接 1，另见 Corosync 冗余）。

通过`ssh`登录到第一个{pve}节点并运行以下命令：

要检查新集群的状态，请使用：

在同一个物理或逻辑网络中可以创建多个集群。在这种情况下，每个集群必须有一个唯一的名字，以避免集群通信栈中可能出现的冲突。此外，这有助于避免人为混淆，使集群清晰可区分。

尽管corosync集群对带宽的需求相对较低，但数据包的延迟和每秒数据包数（PPS）是限制因素。同一网络中的不同集群可能会相互竞争这些资源，因此对于较大的集群使用独立的物理网络基础设施仍然是有意义的。

登录到现有集群节点上的Web界面。在数据中心 → 集群下，点击顶部的*加入信息*按钮。然后，点击*复制信息*按钮。或者，也可以手动从’信息’字段中复制字符串。

接下来，登录到您想要添加的节点上的网络界面。在Datacenter → Cluster下，点击*Join Cluster*。用您之前复制的’Join Information’文本填写’Information’字段。加入集群所需的大多数设置将会自动填充。出于安全原因，集群密码需要手动输入。

点击 加入 按钮后，群集加入过程将立即开始。节点加入群集后，其当前节点证书将被群集证书权威机构（CA）签名的证书所替代。这意味着当前会话在几秒钟后将停止工作。之后，您可能需要强制重新加载网页界面，并使用群集凭据重新登录。

现在你的节点应该在 Datacenter → Cluster 下可见。

通过`ssh`登录到你想要加入到现有集群中的节点。

对于`IP-ADDRESS-CLUSTER`，使用现有集群节点的IP或主机名。建议使用IP地址（参见链接地址类型）。

要检查集群的状态，请使用：

如果你只想要一个所有节点的列表，请使用：

当在拥有分离的集群网络中添加一个节点时，你需要使用’link0’参数来设置该网络上的节点地址：

如果您想要使用Kronosnet传输层的内置冗余功能，也应该使用’link1’参数。

使用GUI，您可以在*Cluster Join*对话框中的相应’Link X’字段中选择正确的接口。

您也可以在不从头开始重新安装的情况下，将一个节点从群集中分离出来。但是，在将节点从群集中移除后，它仍将访问任何共享存储。在开始从群集中移除节点之前，必须解决这个问题。一个{pve}群集不能与另一个群集共享完全相同的存储，因为存储锁定无法跨群集边界工作。此外，这还可能导致VMID冲突。

建议您创建一个新的存储空间，只有您希望隔离的节点能够访问。这可以是NFS上的一个新导出，或者一个新的Ceph池等等。重要的是确保完全相同的存储不会被多个集群访问。设置好这个存储后，将所有数据和虚拟机从节点移动到这个新存储中。然后，您就可以准备将该节点从集群中分离出来了。

首先，在节点上停止 corosync 和 pve-cluster 服务：

重新以本地模式启动集群文件系统：

删除corosync配置文件：

您现在可以将文件系统作为正常服务重新启动：

节点现已从集群中分离出来。您可以用以下命令从集群的任何剩余节点中删除它:

如果命令因剩余节点中的法定人数丢失而失败，您可以将预期的投票数设置为1作为一种解决方法：

然后重复执行 pvecm delnode 命令。

现在切换回到分离的节点，并删除其上的所有剩余集群文件。这确保了该节点可以再次无问题地添加到另一个集群中。

由于其他节点的配置文件仍然存在于集群文件系统中，您可能也想清理这些文件。在完全确定您有正确的节点名称后，您可以简单地从'/etc/pve/nodes/NODENAME’递归删除整个目录。

{pve} 集群栈需要所有节点之间具有低于5毫秒（局域网性能）的可靠网络延迟才能稳定运行。虽然在节点数量较少的设置中，高延迟的网络 可能 工作，但这并不保证，而且当节点超过三个并且延迟大约超过10毫秒时，正常工作的可能性就变得相当小了。

网络不应被其他成员过度使用，因为尽管corosync不需要大量带宽，但它对延迟波动很敏感；理想情况下，corosync应该运行在自己的物理隔离网络上。特别是不要将corosync和存储使用相同的网络（除非在冗余配置中作为潜在的低优先级备份）。

在设置集群之前，最好先检查网络是否适合此目的。为了确保节点能够在集群网络上相互连接，您可以使用`ping`工具测试它们之间的连通性。

如果{pve}防火墙已启用，将自动生成corosync的ACCEPT规则 - 不需要手动操作。

当不使用任何参数创建集群时，corosync集群网络通常与Web界面和虚拟机的网络共享。根据您的设置，甚至存储流量也可能通过同一网络发送。建议更改此设置，因为corosync是一个时间敏感的实时应用程序。

一个corosync链接地址（为了向后兼容，在`corosync.conf`中被标记为’ringX_addr'）可以通过两种方式指定：

如果偏好使用主机名，建议为corosync指定一个单独的、静态的主机名。同时，确保集群中的每个节点都能正确解析所有主机名。

自{pve} 5.1版本起，尽管得到支持，但主机名将在输入时被解析。配置中只保存解析后的IP地址。

加入集群的节点如果是在早期版本上运行，很可能在`corosync.conf`文件中仍使用它们未解析的主机名。正如上面提到的，用IP地址或一个单独的主机名来替换它们可能是一个好主意。

要想在运行配置中添加新链接，首先检查如何编辑corosync.conf文件。

然后，在`nodelist`部分的每个节点中添加一个新的`ringX_addr`。确保你添加的’X’对于每个节点来说是相同的，并且对于每个节点都是唯一的。

最后，在下面展示的方式里，向你的`totem`部分添加一个新的’interface'，用之前选择的链接编号替换’X'。

假设你添加了一个编号为1的链接，新的配置文件可能看起来像这样：

一旦你按照最后的步骤去编辑corosync.conf文件，新的链接就会被启用。通常不需要重新启动。你可以使用以下方式来检查corosync是否已加载新链接：

暂时断开某个节点上的旧链接，并确保其在断开连接时状态仍保持在线，这样测试新链接可能是个好主意：

如果你看到一个健康的集群状态，这意味着你的新链接正在被使用。

Corosync Quorum Device（QDevice）是一个在每个集群节点上运行的守护进程。它根据外部运行的第三方仲裁者的决定，向集群的法定人数（quorum）子系统提供配置数量的投票权。它的主要用途是允许集群承受比标准法定人数规则允许的更多节点故障。这可以安全地完成，因为外部设备能够看到所有节点，因此只选择一组节点来给予其投票权。只有在这组节点在接收到第三方投票后可以再次达到法定人数（quorum）的情况下，才会这样做。

目前，只有“QDevice Net”作为第三方仲裁者得到支持。这是一个守护程序，如果它能够通过网络连接到分区成员，就会为集群分区提供一个投票。在任何时间，它只会给集群的一个分区投票。它旨在支持多个集群，几乎不需要配置和状态。新集群被动态处理，运行QDevice的主机上不需要配置文件。

外部主机唯一的要求是它需要访问群集的网络，并且需要有corosync-qnetd包可用。我们为基于Debian的主机提供了一个包，其他Linux发行版也应该通过各自的包管理器提供一个包。

我们支持在具有偶数数量的节点的集群中使用QDevices，并推荐2节点集群使用它，如果它们需要提供更高的可用性。对于节点数为奇数的集群，我们目前不鼓励使用QDevices。这样做的原因在于QDevice为每种类型的集群提供的投票差异。拥有偶数节点的集群会获得额外的一票，这仅仅增加了可用性，因为如果QDevice自身出现故障，你将处于和没有QDevice完全相同的位置。

在另一方面，对于奇数个集群大小，QDevice提供 (N-1) 票数 —— 其中 N 对应于集群节点计数。这种替代行为是有道理的；如果它只有一个额外的投票，集群可能会陷入脑裂情况。这个算法允许所有节点但一个（自然还有QDevice本身）失败。然而，这样做有两个缺点：

如果你理解了这项技术在奇数节点集群配置中使用的缺点和影响，你可以自己决定是否要使用这项技术。

我们推荐以非特权用户身份运行提供投票给corosync-qdevice的任何守护进程。{pve}和Debian提供了一个已经配置为这样做的包。守护进程与集群之间的流量必须加密，以确保Q设备在{pve}中的安全可靠集成。

首先，在你的外部服务器上安装 corosync-qnetd 包

以及所有集群节点上的 corosync-qdevice 包

完成此操作后，请确保集群中的所有节点都在线。

您现在可以通过在其中一个 {pve} 节点上运行以下命令来设置您的 QDevice：

集群中的SSH密钥将自动复制到QDevice。

在所有步骤都成功完成之后，你会看到“完成（Done）”字样。你可以用以下方法验证QDevice是否已经设置：

编辑corosync.conf文件并不总是非常直观。每个集群节点上有两个，一个在 /etc/pve/corosync.conf，另一个在 /etc/corosync/corosync.conf。编辑我们集群文件系统中的那个会将改动传播到本地的那个，但反之则不行。

配置会在文件发生变化时自动更新。这意味着可以集成到正在运行的corosync中的更改将立即生效。因此，你应该总是先做一个副本然后编辑副本，以避免在编辑文件保存时触发无意的更改。

然后，使用您最喜欢的编辑器打开配置文件，比如预装在每个{pve}节点上的`nano`或者`vim.tiny`。

在进行必要的更改后，创建当前工作配置文件的另一个副本。这将作为备份，以防新配置应用失败或引起其他问题。

然后用新配置文件替换旧的配置文件：

你可以使用以下命令来检查更改是否可以自动应用：

如果更改无法自动应用，您可能需要通过以下方式重启corosync服务：

出现错误时，请查看下方的故障排除部分。

迁移类型定义了迁移数据是否应通过加密（安全）通道还是非加密（不安全）通道发送。将迁移类型设置为`不安全`意味着虚拟客户机的RAM内容也会未加密地传输，这可能导致来自客户机内部的关键数据（例如，密码或加密密钥）的信息泄露。

因此，如果您无法完全控制网络并且无法保证没有人在窃听，我们强烈建议使用安全通道。

加密需要大量的计算能力，因此这个设置经常被改为`insecure`以获取更好的性能。在现代系统中影响较低，因为它们在硬件中实现了AES加密。在快速网络中性能影响尤为明显，那里你可以传输10 Gbps或更高的速度。

默认情况下，{pve} 使用用于集群通信的网络来发送迁移流量。这并不是最佳选择，因为敏感的集群流量可能会被干扰，而且这个网络可能不是节点上可用的最佳带宽。

设置迁移网络参数可以使用专用网络来处理所有的迁移流量。除了内存之外，这还影响离线迁移的存储流量。

迁移网络被设置为使用CIDR表示法的网络。这样做的好处是你不需要为每一个节点设置单独的IP地址。{pve}可以从CIDR形式指定的网络中确定目的节点上的真实地址。为了启用这一点，必须指定网络，以便每个节点在相应网络中恰好有一个IP地址。