Proxmox VE 管理指南

超融合基础设施（HCI）特别适用于基础设施需求高而管理预算低的部署环境，以及适用于分布式设置，例如远程和分支机构环境或用于虚拟私有和公共云。

HCI提供以下优势：

{pve}具有紧密集成的支持，用于部署超融合存储基础设施。例如，您可以仅使用web界面部署和管理以下两种存储技术：

除了上述内容，{pve} 还支持集成多种附加存储技术。您可以在存储管理器章节中了解它们。

信息的主要来源是{webwiki}。它将参考文档与用户贡献的内容结合在一起。

{pve} 本身是完全开源的，因此我们总是鼓励我们的用户使用 {forum} 讨论和分享他们的知识。该论坛由 Proxmox 支持团队进行管理，并拥有来自世界各地的庞大用户群。不用说，如此庞大的论坛是获取信息的好地方。

这是通过电子邮件与 {pve} 社区快速沟通的一种方式。

{pve}是完全开源的，欢迎贡献！开发者的主要交流渠道是：

{proxmoxGmbh}同样提供企业级支持，可以通过{pricing-url}[{pve} 订阅服务计划]获得。 所有拥有订阅的用户可以访问{pve} 企业存储库，并且如果是基础、标准或者高级订阅—​还能够使用Proxmox客户门户。客户门户提供帮助和支持，保证来自{pve}开发者的响应时间。

为了获取批量购买折扣，或者了解更多信息，请联系sales@proxmox.com[销售部门]。

Proxmox在https://bugzilla.proxmox.com运行一个公共的错误跟踪器。如果出现问题，请在那里提交您的报告。问题既可以是错误，也可以是对新功能或增强的请求。错误跟踪器有助于跟踪问题，并且一旦解决，将会发送通知。

语言文件可以通过https://git.proxmox.com/?p=proxmox-i18n.git[git仓库]获取。如果你熟悉git，请根据我们的{webwiki-url}开发者文档[Developer Documentation]做出贡献。

你可以通过以下操作创建一个新的翻译（将<LANG>替换为语言ID）：

这些最低要求仅用于评估目的，不应在生产环境中使用。

要获取已安装的 {pve} 系统上CPU和硬盘性能的概览，请运行内置的 pveperf 工具。

要访问基于网络的用户界面，我们建议使用以下浏览器之一：

当从移动设备访问时，{pve} 将展示一个轻量级的、基于触控的界面。

U盘至少需要有1GB的可用存储空间。

在类Unix操作系统上使用`dd`命令将ISO镜像复制到USB闪存驱动器。首先找到USB闪存驱动器的正确设备名称（见下文）。然后运行`dd`命令。

打开终端（在Spotlight中搜索Terminal）。

使用`hdiutil`的转换选项将`.iso`文件转换成`.dmg`格式，例如：

要获取当前设备列表，请运行以下命令：

现在插入USB闪存驱动器，然后再次运行此命令以确定已分配给它的设备节点（例如，/dev/diskX）。

在成功安装并重启系统后，你可以使用 {pve} 网络界面进行进一步配置。

安装程序创建一个名为 pve 的卷组（VG），以及其他名为 root、data 和 swap 的逻辑卷（LVs），如果使用的是 ext4 或 xfs 文件系统。要控制这些卷的大小，使用：

安装程序会创建ZFS池`rpool`，如果使用了ZFS的话。不会创建交换空间，但您可以在安装磁盘上保留一些未分区的空间用于交换。您也可以在安装后创建一个交换zvol，尽管这可能会导致问题（参见ZFS交换说明）。

ZFS最适合使用大量内存。如果你打算使用ZFS，请确保有足够的RAM可以用于它。一个好的计算方法是4GB加上每1TB原始磁盘空间的1GB RAM。

ZFS可以使用专用驱动器作为写入缓存，称为ZFS意向日志（ZIL）。使用快速驱动器（SSD）来做这个。可以在安装后使用以下命令添加它：

给内核参数添加`nomodeset`选项 _{~~~~~~~~~~~~~}~~

Problems may arise on very old or very new hardware due to graphics drivers. If the installation hangs during boot, you can try adding the nomodeset parameter. This prevents the Linux kernel from loading any graphics drivers and forces it to continue using the BIOS/UEFI-provided framebuffer.

On the {pve} bootloader menu, navigate to Install {pve} (Terminal UI) and press e to edit the entry. Using the arrow keys, navigate to the line starting with linux, move the cursor to the end of that line and add the parameter nomodeset, separated by a space from the pre-existing last parameter.

Then press Ctrl-X or F10 to boot the configuration.

版本库是一系列软件包的集合，它们可以用来安装新软件，但也是获取新更新的重要途径。

APT仓库在文件`/etc/apt/sources.list`中定义，并在`/etc/apt/sources.list.d/中放置的.list`文件中定义。

这是推荐的仓库，适用于所有 {pve} 订阅用户。它包含最稳定的包，并且适合于生产环境使用。pve-enterprise 仓库默认是启用的：

请注意，您需要一个有效的订阅密钥才能访问`pve-enterprise`仓库。我们提供不同的支持级别，您可以在{pricing-url}处查看更多详情。

正如名称所示，您不需要订阅密钥就可以访问此存储库。它可用于测试和非生产用途。不建议在生产服务器上使用这些包，因为这些包并不总是经过严格的测试和验证。

我们建议在 /etc/apt/sources.list 中配置这个仓库。

这个仓库包含最新的软件包，主要供开发者测试新功能使用。要配置它，请将以下行添加到 /etc/apt/sources.list 文件中：

这个仓库包含企业级{pve} Ceph 18.2 Reef 版本的软件包。它们适合用于生产环境。如果你在{pve}上运行Ceph客户端或完整的Ceph集群，请使用这个仓库。

这个Ceph仓库包含了Ceph 18.2 Reef版本的软件包，在它们被转移到企业仓库之前以及在它们位于测试仓库之后。

这个Ceph仓库包含了Ceph 18.2 Reef版本的包，在它们被转移到主仓库之前。它用于在{pve}上测试新的Ceph版本。

这个仓库包含企业级 {pve} Ceph Quincy 包。它们适合用于生产环境。如果你在 {pve} 上运行 Ceph 客户端或完整的 Ceph 集群，请使用这个仓库。

这个Ceph仓库包含了Ceph Quincy包，在它们被移动到企业仓库之前以及它们在测试仓库之后。

这个Ceph仓库包含了Ceph Quincy包，在它们被转移到主仓库之前。它用于在{pve}上测试新的Ceph发布版本。

{pve} 8不支持Ceph Pacific、Ceph Octopus或更早版本的超融合设置。对于这些版本，你需要先将Ceph升级到较新的版本，然后再升级到Proxmox VE 8。

请参考相应的[升级指南](https://pve.proxmox.com/wiki/Category:Ceph_Upgrade)了解详情。

从 Debian Bookworm ({pve} 8) 开始，非自由固件（根据https://www.debian.org/social_contract#guidelines[DFSG]的定义）已被移至新创建的 Debian 仓库组件 non-free-firmware 中。

如果您想要设置早期操作系统微码更新或需要额外的运行时固件文件，而这些文件并未包含在预安装的软件包`pve-firmware`中，请启用此存储库。

为了能够从这个组件安装包，运行 editor /etc/apt/sources.list，将 non-free-firmware 追加到每个 .debian.org 仓库行的末尾然后运行 apt update。

存储库中的’Release’文件已使用GnuPG签名。APT使用这些签名来验证所有包都来自可信来源。

如果你从官方ISO镜像安装{pve}，验证密钥已经安装好了。

如果你在Debian上安装{pve}，请用以下命令下载并安装密钥：

随后使用`sha512sum`命令行工具验证校验和：

或者是 md5sum 命令行工具：

这一部分适用于所有设备。更新的微码，通常包含在BIOS/UEFI更新中，存储在主板上，而其他固件则存储在各自的设备上。这种持久化方法对CPU尤其重要，因为它使得在启动时尽早常规加载更新的微码成为可能。

请检查您的供应商提供哪些更新方法。

这种方法将固件存储在{pve}操作系统上，如果设备的持久化固件较旧，它将把固件传递给设备。它支持诸如网络和图形卡的设备，但不支持依赖持久化固件的设备，如主板和硬盘。

在{pve}中，`pve-firmware`软件包已经是默认安装的。因此，通过正常的系统更新(APT)，常用硬件的固件会自动保持最新。

还有一个额外的Debian固件仓库存在，但默认情况下并没有配置。

如果您尝试安装额外的固件包但发生冲突，APT将中止安装。或许可以通过其他方式获取特定的固件。

微码更新旨在修复发现的安全漏洞和其他严重的CPU错误。虽然CPU性能可能会受到影响，但打了补丁的微码通常仍然比未打补丁的微码更高效，因为在未打补丁的情况下核心自身必须进行缓解措施。根据CPU类型的不同，可能无法在不知情地运行CPU于不安全状态的情况下，再次达到有缺陷的工厂状态时的性能结果。

为了获取当前CPU漏洞及其缓解措施的概览，请运行 lscpu。如果{pve}主机是最新的，它的版本不是已过维护生命周期，并且至少在最后一次内核更新之后已经重启过，那么当前已知的实际漏洞才会显示出来。

除了通过persistent BIOS/UEFI更新推荐的微码更新外，还有一种独立的方法，即通过*早期操作系统微码更新*。这种方法使用方便，当主板供应商不再提供BIOS/UEFI更新时也非常有帮助。无论使用哪种方法，应用微码更新始终需要重新启动。

{pve}并不直接将更改写入`/etc/network/interfaces`。相反，我们会将更改写入一个名为`/etc/network/interfaces.new`的临时文件中，这样您就可以一次性进行许多相关的更改。这也允许在应用更改之前确保您的更改是正确的，因为错误的网络配置可能会使节点无法访问。

我们目前使用以下命名规范来为设备命名：

这使得调试网络问题更加容易，因为设备名称暗示了设备类型。

根据您当前的网络组织和资源，您可以选择桥接、路由或伪装网络设置。

桥接就像是用软件实现的物理网络交换机。所有虚拟客户机都可以共享一个桥接，或者你可以创建多个桥接来分隔网络域。每个宿主机最多可以有4094个桥接。

安装程序创建了一个名为`vmbr0`的单个桥接，它连接到第一块以太网卡。相应的配置在`/etc/network/interfaces`中可能如下所示：

虚拟机的行为就像它们直接连接到物理网络一样。反过来，网络看每个虚拟机都有自己的MAC地址，尽管所有这些虚拟机只通过一根网络线缆连接到网络。

大多数托管服务提供商不支持上述设置。出于安全原因，一旦检测到单个接口上有多个MAC地址，他们就会禁用网络。

通过将所有流量通过单个接口进行“路由”来避免该问题。这确保所有网络数据包使用相同的MAC地址。

一个常见的情况是，你拥有一个公共IP（假设在此示例中为`198.51.100.5`），以及一个为你的虚拟机准备的额外的IP块（203.0.113.16/28）。对于这种情况，我们推荐以下设置：

伪装允许只有私有IP地址的客户端通过使用宿主机的IP地址来访问网络，用于外发流量。每个外发数据包都会被`iptables`重写，使其看起来像是从宿主机发出的，并且相应的回应也会被相应重写，以便路由到原始发送者。

在 /etc/network/interfaces 中添加这些行可以解决这个问题：

有关此内容的更多信息，请参阅以下链接：

Netfilter Packet Flow

Patch on netdev-list introducing conntrack zones

Blog post with a good explanation by using TRACE in the raw table

绑定（也称为NIC teaming或Link Aggregation）是一种将多个网络接口卡（NIC）绑定到单个网络设备的技术。可以通过它实现不同的目标，如使网络具有容错能力、提升性能或同时实现这两者。

高速硬件如光纤通道及相关的交换硬件可能非常昂贵。通过进行链路聚合，两个网络接口卡（NICs）可以表现为一个逻辑接口，从而实现双倍速度。这是一个原生的Linux内核特性，大多数交换机都支持它。如果你的节点有多个以太网端口，你可以通过将网络电缆连接到不同的交换机来分散故障点，而且在出现网络问题时，绑定连接将实现到另一根电缆的故障转移。

聚合链接可以减少实时迁移的延迟并提高数据在Proxmox VE集群节点之间复制的速度。

有7种键合模式：

如果您的交换机支持LACP（IEEE 802.3ad）协议，那么我们推荐使用相应的绑定模式（802.3ad）。否则，您通常应该使用活动-备份模式。

对于集群网络（Corosync），我们推荐使用多个网络进行配置。Corosync不需要网络冗余的绑定，因为如果一个网络变得不可用，它可以自己在网络之间切换。

以下债券配置可以用作分布式/共享存储网络。其优势在于您将获得更高的速度，且网络将具有容错能力。

另一种可能性是直接将bond作为桥接端口使用。这可以用来使来宾网络具有容错能力。

虚拟局域网（VLAN）是在网络的第二层被划分和隔离的广播域。因此，在一个物理网络中可以拥有多个网络（多达4096个），它们彼此相互独立。

每个VLAN网络通过一个通常称为“标签”的数字来识别。然后网络数据包会被“标记”以识别它们属于哪一个虚拟网络。

{pve} 在所有环境中都能正确工作，无论是否部署了 IPv6。我们建议保留所有提供的默认设置。

如果您仍然需要在节点上禁用对IPv6的支持，请通过创建一个合适的`sysctl.conf (5)片段文件并设置适当的https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt[sysctls]来完成，例如添加/etc/sysctl.d/disable-ipv6.conf`文件，并填充以下内容：

这种方法比在内核命令行上禁用加载IPv6模块更受欢迎。可以参考https://www.kernel.org/doc/Documentation/networking/ipv6.rst上的文档。

默认情况下，桥接上启用了MAC学习，以确保虚拟客户及其网络的顺畅体验。

但在某些环境中，这可能是不受欢迎的。从 {pve} 7.3 版本开始，您可以通过在 /etc/network/interfaces 文件中的桥接配置上设置 bridge-disable-mac-learning 1 来禁用桥接上的 MAC 地址学习，例如：

一旦启用，{pve} 将手动将 VM 和容器配置的 MAC 地址添加到桥接的转发数据库中，以确保客户端仍然可以使用网络 - 但前提是他们使用的是他们实际的 MAC 地址。

在某些情况下，可能希望使用非默认的NTP服务器。例如，如果您的 {pve} 节点由于严格的防火墙规则而无法访问公共互联网，您需要设置本地NTP服务器，并告知NTP守护程序使用它们。

默认端口设置为 2003，默认的 graphite 路径是 proxmox。

默认情况下，{pve} 通过UDP发送数据，因此必须配置graphite服务器以接受此数据。在这里可以为不使用标准 1500 MTU的环境配置最大传输单元（MTU）。

您也可以配置插件以使用TCP。为了不阻塞重要的`pvestatd`统计收集守护进程，在遇到网络问题时需要设置一个超时以应对。

{pve} 通过 UDP 发送数据，因此必须对 influxdb 服务器进行配置以适应此方式。如有必要，此处也可以配置 MTU（最大传输单元）。

这是一个influxdb配置的示例（在您的influxdb服务器上）：

根据这种配置，你的服务器会监听8089端口上的所有IP地址，并且将数据写入*proxmox*数据库。

作为另一种选择，可以配置插件使用InfluxDB 2.x的http(s) API。InfluxDB 1.8.x 包含了一个向前兼容的 API 端点，用于这个 v2 API。

要使用它，请将’influxdbproto’设置为’http’或’https'（根据您的配置而定）。默认情况下，{pve}使用组织’proxmox’和桶/数据库’proxmox'（它们可以分别通过配置’organization’和’bucket’来设置）。

因为InfluxDB的v2 API只能通过认证使用，你需要生成一个可以向正确存储桶写入的令牌，并进行设置。

在1.8.x的v2兼容API中，如果需要，可以使用’user:password’作为令牌，并且可以省略’organization'，因为在InfluxDB 1.x中没有意义。

你也可以通过’timeout’设置来设定HTTP超时时间（默认为1秒），以及通过’max-body-size’设置来设定最大批次大小（默认25000000字节），这对应于具有相同名称的InfluxDB设置。

我们强烈建议在此类设置中使用具有电池备份单元(BBU)的硬件RAID控制器。这样可以提高性能，提供冗余，并且使硬盘更换更容易（支持热插拔）。

LVM本身不需要任何特殊硬件，且内存需求非常低。

我们默认安装了两个引导加载程序。第一个分区包含标准的GRUB引导加载程序。第二个分区是一个EFI系统分区（ESP），这使得在EFI系统上启动成为可能，并且可以从用户空间应用持久的固件更新。

假设我们有一个空的硬盘`/dev/sdb`，我们想在其上创建一个名为`‘vmdata’'的卷组。

首先创建一个分区。

ZFS严重依赖于内存，因此你至少需要8GB的内存才能开始。在实践中，根据你的硬件/预算尽可能多地使用内存。为了防止数据损坏，我们推荐使用高质量的ECC内存。

如果您使用专用的缓存和/或日志磁盘，您应该使用企业级SSD。这可以显著提高整体性能。

如果您正在尝试在虚拟机（嵌套虚拟化）内安装 {pve}，不要使用 virtio 作为该虚拟机的磁盘，因为它们不被ZFS支持。请改用IDE或SCSI（也适用于`virtio` SCSI控制器类型）。

当你使用 {pve} 安装器进行安装时，可以为根文件系统选择ZFS。你需要在安装时选择RAID类型：

安装程序会自动对磁盘进行分区，创建一个名为 rpool 的ZFS池，并在ZFS子卷 rpool/ROOT/pve-1 上安装根文件系统。

创建了一个名为`rpool/data`的子卷，用于存储虚拟机映像。为了使用{pve}工具，安装程序在`/etc/pve/storage.cfg`中创建了以下配置项：

安装后，您可以使用 zpool 命令查看您的ZFS池状态：

zfs`命令用于配置和管理您的ZFS文件系统。以下命令在安装后列出所有文件系统：

在选择ZFS池的布局时需要考虑一些因素。ZFS池的基本构建单元是虚拟设备，或称为`vdev`。池中的所有vdev都被平等使用，并且数据在它们之间分条存储（RAID0）。有关vdevs的更多详细信息，请检查`zpoolconcepts(7)`手册页。

在ZFS dRAID（分散式RAID）中，热备用驱动器参与RAID阵列。它们的备用容量被保留并用于重建，当某个驱动器出现故障时使用。这根据配置不同，与RAIDZ相比，在驱动器出现故障时可以提供更快的重建速度。更多信息可以在官方OpenZFS文档中找到。脚注：[OpenZFS dRAID https://openzfs.github.io/openzfs-docs/Basic%20Concepts/dRAID%20Howto.html]。

dRAID1`或`dRAID`：至少需要2块磁盘，其中一块可以在数据丢失前出现故障。 * dRAID2`：至少需要3个磁盘，数据丢失前可以有两个磁盘故障。 * dRAID3`：至少需要4块磁盘，数据丢失之前可以有三块磁盘失败

更多信息可以在手册页面找到：

{pve} 使用 proxmox-boot-tool 来管理启动加载程序配置。有关详情，请参阅 {pve} 主机引导加载程序 章节。

这一部分为您提供了一些常见任务的使用示例。ZFS本身非常强大，提供了许多选项。管理ZFS的主要命令是`zfs`和`zpool`。这两个命令都配有详细的手册页，可以通过以下方式阅读：

您需要为每个集群注册一个ACME账户，并使用您想要使用的终端。该账户使用的电子邮件地址将作为ACME终端发出的续订到期或类似通知的联系点。

您可以通过网页界面 Datacenter -> ACME 或使用 pvenode 命令行工具来注册和停用 ACME 账户。

ACME插件的任务是自动验证您，因此您所操作的 {pve} 集群，是域名的真正所有者。这是自动证书管理的基础构建模块。

ACME协议规定了不同类型的挑战，例如`http-01`，其中一个web服务器提供一个包含特定内容的文件，以证明它控制了一个域名。有时这是不可能的，可能是因为技术限制，或者如果记录的地址无法从公共互联网访问。在这些情况下可以使用`dns-01`挑战。完成这个挑战需要在域的区域中创建一个特定的DNS记录。

'{pve} 默认支持这两种挑战类型，您可以在 Datacenter -> ACME 的网络界面下配置插件，或者使用 pvenode acme plugin add 命令进行配置。'

ACME 插件配置存储在 /etc/pve/priv/acme/plugins.cfg。对于集群中的所有节点，都有一个可用的插件。

每个域都是节点特定的。您可以在 节点 -> 证书 下添加新的或管理现有的域条目，或者使用 pvenode config 命令。

为节点配置好期望的域名并确保已选择期望的ACME账户后，您可以通过Web界面订购新证书。成功后，界面将在10秒后重新加载。

更新将会自动进行。

{PVE}重用了为`acme.sh`项目脚注：[acme.sh https://github.com/acmesh-official/acme.sh] 开发的DNS插件，请参阅其文档以获取特定API配置的详细信息。

使用DNS API配置新插件最简单的方法是通过网络界面（数据中心 -> ACME）。

选择`DNS`作为挑战类型。然后你可以选择你的API提供商，输入凭据数据以通过他们的API访问你的账户。

鉴于存在许多DNS提供商和API端点，{pve}会自动为一些提供商生成凭证表单。对于其他提供商，您将看到一个更大的文本区域，只需将所有凭证的`KEY`=`VALUE`对复制到那里即可。

一种特殊的 alias 模式可以用来在不同的域名/DNS服务器上进行验证，以防你的主要/真实DNS不支持通过API进行配置。手动为 _acme-challenge.domain1.example 设置一个永久的 CNAME 记录，指向 _acme-challenge.domain2.example，并在 {PVE} 节点配置文件中设置 alias 属性为 domain2.example，以允许 domain2.example 的DNS服务器验证 domain1.example 的所有挑战。

结合使用`http-01`和`dns-01`验证是可能的，以防您的节点通过满足不同要求/拥有不同DNS配置能力的多个域名可达。通过为每个域指定不同的插件实例，也可以混合来自多个提供商或实例的DNS API。

首先你需要获取所有信息，这样你和{pve}才能访问API。

现在你可以设置ACME插件：

最后您可以配置您想要获取证书的域名，并为其下达证书订单：

更改账户的ACME目录是不支持的，但由于{pve}支持多个账户，您可以直接创建一个以生产（受信任的）ACME目录作为终点的新账户。您还可以停用测试账户并重新创建它。

{pve} 安装程序在所有选定的安装磁盘上创建3个分区。

创建的分区是：

使用ZFS作为根文件系统的系统通过存储在512 MB EFI系统分区上的内核和initrd镜像启动。对于传统的BIOS系统以及启用安全启动的EFI系统，使用GRUB；对于未启用安全启动的EFI系统，则使用`systemd-boot`。这两者都安装并配置为指向ESPs。

在BIOS模式下（--target i386-pc），GRUB被安装到所有选定磁盘的BIOS启动分区上，适用于所有使用GRUB引导的系统。脚注：[这包括所有根目录安装在`ext4`或`xfs`上的安装，以及非EFI系统上根目录安装在ZFS上的安装]。

proxmox-boot-tool` 是一个用于保持EFI系统分区内容正确配置和同步的实用工具。它将特定的内核版本复制到所有的ESP并配置相应的引导加载程序从`vfat`格式的ESP引导启动。在以ZFS作为根文件系统的上下文中，这意味着你可以在你的根池上使用所有可选功能，而不仅仅是那些同时存在于GRUB的ZFS实现中的子集，或者不得不创建一个单独的小型启动池^[2]。

在具有冗余设置的系统中，安装程序会对所有磁盘进行分区，并创建ESP。这确保了即使第一个启动设备失败或BIOS只能从特定磁盘启动，系统仍然能够启动。

ESP在常规操作期间不保持挂载状态。这有助于在系统崩溃的情况下防止对`vfat`格式的ESP文件系统造成损坏，并且在主启动设备故障的情况下，去除了手动调整`/etc/fstab`的需要。

proxmox-boot-tool` 处理以下任务：

你可以通过运行以下命令来查看当前配置的ESP及其状态：

要格式化并初始化分区为同步的ESP，例如，在替换rpool中的失败vdev之后，或者在转换一个存在于同步机制之前的旧系统时，可以使用`proxmox-kernel-helper`中的`proxmox-boot-tool`。

例如，要将空分区`/dev/sda2`格式化为ESP，请运行以下命令：

要将位于 /dev/sda2 上的现有未挂载ESP（EFI系统分区）设置为包含在{pve}的内核更新同步机制中，请使用以下方法：

或者

为了支持Secure Boot，例如强制使用GRUB而不是`systemd-boot`进行初始化。

之后，/etc/kernel/proxmox-boot-uuids 应该包含一个新行，其中包含新添加分区的 UUID。init 命令也会自动触发所有已配置 ESP 的刷新。

要复制并配置所有可启动的内核，并保持`/etc/kernel/proxmox-boot-uuids`中列出的所有ESP同步，你只需运行：

（相当于在根目录下具有`ext4`或`xfs`的系统上运行`update-grub`）。

如果您需要修改内核命令行或希望同步所有内核和initrds，这是必要的。

以下内核版本是默认配置的：

如果您希望将某个内核和initrd映像添加到可启动内核列表中，请使用`proxmox-boot-tool kernel add`。

例如，运行以下命令将带有ABI版本`5.0.15-1-pve`的内核添加到要保持安装并同步到所有ESP的内核列表中：

proxmox-boot-tool kernel list``` 会列出当前选定用于启动的所有内核版本：

执行`proxmox-boot-tool kernel remove`以从手动选择的内核列表中移除一个内核，例如：

确定使用哪种引导程序的最简单也是最可靠的方法，是观察 {pve} 节点的启动过程。

你将会看到GRUB的蓝色盒子或者简单的白底黑字的`systemd-boot`。

从正在运行的系统中确定引导程序可能不会百分之百准确。最安全的方法是运行以下命令：

如果它返回一条消息说EFI变量不受支持，那么GRUB是在BIOS/Legacy模式下使用的。

如果输出包含一行看起来类似于以下内容，那么GRUB是在UEFI模式下使用的。

如果输出包含一个类似于以下的行，那么使用的是`systemd-boot`。

通过运行：

你可以通过查看`proxmox-boot-tool`是否已配置来了解系统的启动方式，这是判断系统启动方式的一个好方法。

GRUB多年来一直是启动Linux系统的事实标准，并且有相当完备的文档记录脚注:[GRUB手册 https://www.gnu.org/software/grub/manual/grub/grub.html]。

systemd-boot`是一个轻量级的EFI启动加载程序。它直接从安装它的EFI服务分区（ESP）读取内核和initrd镜像。直接从ESP加载内核的主要优点是它不需要重新实现访问存储的驱动程序。在{pve} proxmox-boot-tool中使用，用于保持ESP上的配置同步。

你可以根据所使用的引导加载程序，在以下位置修改内核命令行：

内核命令行需要被放置在文件`/etc/default/grub`中的变量`GRUB_CMDLINE_LINUX_DEFAULT`里。运行`update-grub`会将其内容附加到`/boot/grub/grub.cfg`中所有的`linux`条目上。

内核命令行需要作为一行放置在 /etc/kernel/cmdline 中。要应用你的更改，请运行 proxmox-boot-tool refresh，它会将其设置为 loader/entries/proxmox-*.conf 中所有配置文件的 option 行。

内核参数的完整列表可在’https://www.kernel.org/doc/html/v<YOUR-KERNEL-VERSION>/admin-guide/kernel-parameters.html’找到。将<YOUR-KERNEL-VERSION>替换为主要的.次要版本号，例如，对于基于版本6.5的内核，URL将会是：https://www.kernel.org/doc/html/v6.5/admin-guide/kernel-parameters.html

你可以通过检查网络界面（节点 → 概览），或者运行以下命令来找到你的内核版本

使用输出前面的前两个数字。

要选择一个当前不是默认内核的内核，你可以：

这应该能帮助你解决新内核版本与硬件之间的不兼容问题。

例如：要永久选择版本 5.15.30-1-pve 作为引导版本，你需要运行：

您也可以设置内核版本，使其仅在下一次系统启动时被引导。这在测试更新后的内核是否解决了导致您首次“固定”版本的问题时非常有用：

要删除任何固定版本配置，请使用`unpin`子命令：

虽然`unpin`也有一个`--next-boot`选项，但它用于清除用`--next-boot`设置的固定版本。由于这已经在启动时自动发生，因此手动调用它的用处不大。

在设置或清除固定版本后，您还需要通过运行 refresh 子命令来同步ESP上的内容和配置。

自 {pve} 8.1 版本开始，通过签名包和在 proxmox-boot-tool 中的集成实现了对 Secure Boot 的支持。

要启用安全启动，需要安装以下软件包：

只有GRUB作为启动引导程序是默认支持的，因为没有其他预签名的引导加载程序包可用。任何新的{pve}安装都将自动包含上述所有包。

关于Secure Boot的工作原理以及如何自定义设置的更多详情，请参见我们的wiki：https://pve.proxmox.com/wiki/Secure_Boot_Setup。

KSM能够在虚拟化环境中优化内存使用，因为运行相似操作系统或工作负载的多个虚拟机可能会共享很多相同的内存页面。

然而，虽然KSM能够降低内存使用量，但它也带来了一些安全风险，因为它可能会让虚拟机（VM）暴露于旁道攻击。研究表明，通过利用KSM的某些特性，可以通过同一主机上的第二个虚拟机推断出正在运行的虚拟机的信息。

因此，如果您使用{pve}来提供托管服务，您应该考虑禁用KSM，以便为您的用户提供额外的安全保障。此外，您应当检查您所在国家的法规，因为禁用KSM可能是一项法律要求。

要检查KSM是否激活，你可以查看以下命令的输出：

如果是这样，可以立即使用以下方式禁用：

最后，要取消所有当前合并的页面，请运行：

在左上角，你首先看到的是Proxmox的标志。紧靠其旁的是当前运行的{pve}版本。在它旁边的搜索栏中，你可以搜索特定的对象（虚拟机、容器、节点等）。这有时比在资源树中选择一个对象要快。

标题的右侧部分包含四个按钮：

"My Settings" 窗口允许你设置本地存储的设置。这些设置包括 "Dashboard Storages"，它允许你启用或禁用特定存储以计入数据中心摘要中可见的总量。如果没有选中任何存储，则总量是所有存储的总和，与启用每一个单独的存储效果相同。

在仪表盘设置下面，你会找到已存储的用户名和一个清除它的按钮，以及一个将GUI中的每个布局重置为默认设置的按钮。

在右侧有’xterm.js 设置'。这些包含以下选项：

这是主导航树。在树的顶部，您可以选择一些预定义的视图，这些视图会改变树下面的结构。默认视图是*服务器视图*，它展示了以下对象类型：

以下视图类型可用：

日志面板的主要目的是向您展示集群中当前正在发生的情况。像创建新的虚拟机这样的动作在后台执行，我们将这样的后台作业称为“任务”。

任何来自这样一个任务的输出都会保存到一个独立的日志文件中。你可以通过简单地双击一个任务日志条目来查看该日志。在那里还可以中止一个正在运行的任务。

请注意，我们在此显示所有集群节点上的最新任务。因此，您可以实时看到别人在另一个集群节点上工作的情况。

一些短时间运行的操作只是将日志发送给所有集群成员。你可以在’集群日志’面板中看到这些消息。

在数据中心级别上，你可以访问整个集群的设置和信息。

在这个层次上，你的集群中的节点可以被单独管理。

顶部标题栏包含了一些实用按钮，例如’重启'、关机、命令行、批量操作’和’帮助。命令行’下有’noVNC、SPICE’和’xterm.js’等选项。'批量操作’包括’批量启动、'批量关机’和’批量迁移’这些选项。

有两种不同类型的客户，两者都可以转换为模板。其中一种是基于内核的虚拟机（KVM），另一种是Linux容器（LXC）。这些的导航大致相同；只是某些选项不同。

要访问各种客人管理界面，请从左侧菜单中选择一个虚拟机或容器。

标题栏包含了一些命令，用于例如电源管理、迁移、控制台访问和类型、克隆、高可用性和帮助等项目。其中一些按钮包含下拉菜单，例如，“Shutdown”还包含其他电源选项，“Console”包含不同的控制台类型：SPICE、noVNC’和’xterm.js。

右侧的面板包含了从左侧菜单选中项的界面。

可用接口如下。

与客户端界面一样，存储界面由左侧的菜单组成，用于某些存储元素，以及右侧的界面，用于管理这些元素。

在这个视图中，我们有一个两分区的分割视图。左边是存储选项，右边显示所选选项的内容。

再次说明，池景图包含两个部分：左侧的菜单，以及右侧各菜单项对应的界面。

默认情况下，标签颜色是根据其文本以确定性的方式派生的。资源树中的颜色、形状以及标签的大小写敏感性，以及标签的排序方式都可以自定义。这可以通过Web界面下的 数据中心 → 选项 → 标签样式覆盖 来完成。或者，也可以通过命令行界面（CLI）来完成。例如：

把标签`example`的背景颜色设置为黑色(#000000)和文字颜色设置为白色(#FFFFFF)。

默认情况下，拥有访问者(/vms/ID) VM.Config.Options 权限的用户可以设置他们想要的任何标签（见权限管理）。如果你想要限制这种行为，可以在 数据中心 → 选项 → 用户标签访问 下设置适当的权限。

同样也可以通过命令行界面(CLI)来完成。

请注意，拥有对`/的`Sys.Modify`权限的用户始终能够设置或删除任何标签，无论这里的设置如何。此外，还有一个可配置的`registered tags`列表，只能由拥有/`上`Sys.Modify`权限的用户添加和删除。可以通过数据中心 → 选项 → 注册标签或通过CLI编辑注册标签列表。

关于确切的选项以及如何在命令行界面（CLI）中调用它们的详细信息，请参见数据中心配置。

在 Datacenter → Cluster 下，点击 Create Cluster。输入集群名称并从下拉列表中选择一个网络连接作为主集群网络（Link 0）。它默认使用通过节点主机名解析的IP。

截至 {pve} 6.2 版本，集群中可以添加多达 8 个备用链接。要添加冗余链接，请点击“添加”按钮，然后从相应字段中选择链接编号和 IP 地址。在 {pve} 6.2 版本之前，要添加第二个作为备用的链接，您可以选中“高级”复选框并选择一个额外的网络接口（链接 1，另见 Corosync 冗余）。

通过`ssh`登录到第一个{pve}节点并运行以下命令：

要检查新集群的状态，请使用：

在同一个物理或逻辑网络中可以创建多个集群。在这种情况下，每个集群必须有一个唯一的名字，以避免集群通信栈中可能出现的冲突。此外，这有助于避免人为混淆，使集群清晰可区分。

尽管corosync集群对带宽的需求相对较低，但数据包的延迟和每秒数据包数（PPS）是限制因素。同一网络中的不同集群可能会相互竞争这些资源，因此对于较大的集群使用独立的物理网络基础设施仍然是有意义的。

登录到现有集群节点上的Web界面。在数据中心 → 集群下，点击顶部的*加入信息*按钮。然后，点击*复制信息*按钮。或者，也可以手动从’信息’字段中复制字符串。

接下来，登录到您想要添加的节点上的网络界面。在Datacenter → Cluster下，点击*Join Cluster*。用您之前复制的’Join Information’文本填写’Information’字段。加入集群所需的大多数设置将会自动填充。出于安全原因，集群密码需要手动输入。

点击 加入 按钮后，群集加入过程将立即开始。节点加入群集后，其当前节点证书将被群集证书权威机构（CA）签名的证书所替代。这意味着当前会话在几秒钟后将停止工作。之后，您可能需要强制重新加载网页界面，并使用群集凭据重新登录。

现在你的节点应该在 Datacenter → Cluster 下可见。

通过`ssh`登录到你想要加入到现有集群中的节点。

对于`IP-ADDRESS-CLUSTER`，使用现有集群节点的IP或主机名。建议使用IP地址（参见链接地址类型）。

要检查集群的状态，请使用：

如果你只想要一个所有节点的列表，请使用：

当在拥有分离的集群网络中添加一个节点时，你需要使用’link0’参数来设置该网络上的节点地址：

如果您想要使用Kronosnet传输层的内置冗余功能，也应该使用’link1’参数。

使用GUI，您可以在*Cluster Join*对话框中的相应’Link X’字段中选择正确的接口。

您也可以在不从头开始重新安装的情况下，将一个节点从群集中分离出来。但是，在将节点从群集中移除后，它仍将访问任何共享存储。在开始从群集中移除节点之前，必须解决这个问题。一个{pve}群集不能与另一个群集共享完全相同的存储，因为存储锁定无法跨群集边界工作。此外，这还可能导致VMID冲突。

建议您创建一个新的存储空间，只有您希望隔离的节点能够访问。这可以是NFS上的一个新导出，或者一个新的Ceph池等等。重要的是确保完全相同的存储不会被多个集群访问。设置好这个存储后，将所有数据和虚拟机从节点移动到这个新存储中。然后，您就可以准备将该节点从集群中分离出来了。

首先，在节点上停止 corosync 和 pve-cluster 服务：

重新以本地模式启动集群文件系统：

删除corosync配置文件：

您现在可以将文件系统作为正常服务重新启动：

节点现已从集群中分离出来。您可以用以下命令从集群的任何剩余节点中删除它:

如果命令因剩余节点中的法定人数丢失而失败，您可以将预期的投票数设置为1作为一种解决方法：

然后重复执行 pvecm delnode 命令。

现在切换回到分离的节点，并删除其上的所有剩余集群文件。这确保了该节点可以再次无问题地添加到另一个集群中。

由于其他节点的配置文件仍然存在于集群文件系统中，您可能也想清理这些文件。在完全确定您有正确的节点名称后，您可以简单地从'/etc/pve/nodes/NODENAME’递归删除整个目录。

{pve} 集群栈需要所有节点之间具有低于5毫秒（局域网性能）的可靠网络延迟才能稳定运行。虽然在节点数量较少的设置中，高延迟的网络 可能 工作，但这并不保证，而且当节点超过三个并且延迟大约超过10毫秒时，正常工作的可能性就变得相当小了。

网络不应被其他成员过度使用，因为尽管corosync不需要大量带宽，但它对延迟波动很敏感；理想情况下，corosync应该运行在自己的物理隔离网络上。特别是不要将corosync和存储使用相同的网络（除非在冗余配置中作为潜在的低优先级备份）。

在设置集群之前，最好先检查网络是否适合此目的。为了确保节点能够在集群网络上相互连接，您可以使用`ping`工具测试它们之间的连通性。

如果{pve}防火墙已启用，将自动生成corosync的ACCEPT规则 - 不需要手动操作。

当不使用任何参数创建集群时，corosync集群网络通常与Web界面和虚拟机的网络共享。根据您的设置，甚至存储流量也可能通过同一网络发送。建议更改此设置，因为corosync是一个时间敏感的实时应用程序。

一个corosync链接地址（为了向后兼容，在`corosync.conf`中被标记为’ringX_addr'）可以通过两种方式指定：

如果偏好使用主机名，建议为corosync指定一个单独的、静态的主机名。同时，确保集群中的每个节点都能正确解析所有主机名。

自{pve} 5.1版本起，尽管得到支持，但主机名将在输入时被解析。配置中只保存解析后的IP地址。

加入集群的节点如果是在早期版本上运行，很可能在`corosync.conf`文件中仍使用它们未解析的主机名。正如上面提到的，用IP地址或一个单独的主机名来替换它们可能是一个好主意。

要想在运行配置中添加新链接，首先检查如何编辑corosync.conf文件。

然后，在`nodelist`部分的每个节点中添加一个新的`ringX_addr`。确保你添加的’X’对于每个节点来说是相同的，并且对于每个节点都是唯一的。

最后，在下面展示的方式里，向你的`totem`部分添加一个新的’interface'，用之前选择的链接编号替换’X'。

假设你添加了一个编号为1的链接，新的配置文件可能看起来像这样：

一旦你按照最后的步骤去编辑corosync.conf文件，新的链接就会被启用。通常不需要重新启动。你可以使用以下方式来检查corosync是否已加载新链接：

暂时断开某个节点上的旧链接，并确保其在断开连接时状态仍保持在线，这样测试新链接可能是个好主意：

如果你看到一个健康的集群状态，这意味着你的新链接正在被使用。

Corosync Quorum Device（QDevice）是一个在每个集群节点上运行的守护进程。它根据外部运行的第三方仲裁者的决定，向集群的法定人数（quorum）子系统提供配置数量的投票权。它的主要用途是允许集群承受比标准法定人数规则允许的更多节点故障。这可以安全地完成，因为外部设备能够看到所有节点，因此只选择一组节点来给予其投票权。只有在这组节点在接收到第三方投票后可以再次达到法定人数（quorum）的情况下，才会这样做。

目前，只有“QDevice Net”作为第三方仲裁者得到支持。这是一个守护程序，如果它能够通过网络连接到分区成员，就会为集群分区提供一个投票。在任何时间，它只会给集群的一个分区投票。它旨在支持多个集群，几乎不需要配置和状态。新集群被动态处理，运行QDevice的主机上不需要配置文件。

外部主机唯一的要求是它需要访问群集的网络，并且需要有corosync-qnetd包可用。我们为基于Debian的主机提供了一个包，其他Linux发行版也应该通过各自的包管理器提供一个包。

我们支持在具有偶数数量的节点的集群中使用QDevices，并推荐2节点集群使用它，如果它们需要提供更高的可用性。对于节点数为奇数的集群，我们目前不鼓励使用QDevices。这样做的原因在于QDevice为每种类型的集群提供的投票差异。拥有偶数节点的集群会获得额外的一票，这仅仅增加了可用性，因为如果QDevice自身出现故障，你将处于和没有QDevice完全相同的位置。

在另一方面，对于奇数个集群大小，QDevice提供 (N-1) 票数 —— 其中 N 对应于集群节点计数。这种替代行为是有道理的；如果它只有一个额外的投票，集群可能会陷入脑裂情况。这个算法允许所有节点但一个（自然还有QDevice本身）失败。然而，这样做有两个缺点：

如果你理解了这项技术在奇数节点集群配置中使用的缺点和影响，你可以自己决定是否要使用这项技术。

我们推荐以非特权用户身份运行提供投票给corosync-qdevice的任何守护进程。{pve}和Debian提供了一个已经配置为这样做的包。守护进程与集群之间的流量必须加密，以确保Q设备在{pve}中的安全可靠集成。

首先，在你的外部服务器上安装 corosync-qnetd 包

以及所有集群节点上的 corosync-qdevice 包

完成此操作后，请确保集群中的所有节点都在线。

您现在可以通过在其中一个 {pve} 节点上运行以下命令来设置您的 QDevice：

集群中的SSH密钥将自动复制到QDevice。

在所有步骤都成功完成之后，你会看到“完成（Done）”字样。你可以用以下方法验证QDevice是否已经设置：

编辑corosync.conf文件并不总是非常直观。每个集群节点上有两个，一个在 /etc/pve/corosync.conf，另一个在 /etc/corosync/corosync.conf。编辑我们集群文件系统中的那个会将改动传播到本地的那个，但反之则不行。

配置会在文件发生变化时自动更新。这意味着可以集成到正在运行的corosync中的更改将立即生效。因此，你应该总是先做一个副本然后编辑副本，以避免在编辑文件保存时触发无意的更改。

然后，使用您最喜欢的编辑器打开配置文件，比如预装在每个{pve}节点上的`nano`或者`vim.tiny`。

在进行必要的更改后，创建当前工作配置文件的另一个副本。这将作为备份，以防新配置应用失败或引起其他问题。

然后用新配置文件替换旧的配置文件：

你可以使用以下命令来检查更改是否可以自动应用：

如果更改无法自动应用，您可能需要通过以下方式重启corosync服务：

出现错误时，请查看下方的故障排除部分。

迁移类型定义了迁移数据是否应通过加密（安全）通道还是非加密（不安全）通道发送。将迁移类型设置为`不安全`意味着虚拟客户机的RAM内容也会未加密地传输，这可能导致来自客户机内部的关键数据（例如，密码或加密密钥）的信息泄露。

因此，如果您无法完全控制网络并且无法保证没有人在窃听，我们强烈建议使用安全通道。

加密需要大量的计算能力，因此这个设置经常被改为`insecure`以获取更好的性能。在现代系统中影响较低，因为它们在硬件中实现了AES加密。在快速网络中性能影响尤为明显，那里你可以传输10 Gbps或更高的速度。

默认情况下，{pve} 使用用于集群通信的网络来发送迁移流量。这并不是最佳选择，因为敏感的集群流量可能会被干扰，而且这个网络可能不是节点上可用的最佳带宽。

设置迁移网络参数可以使用专用网络来处理所有的迁移流量。除了内存之外，这还影响离线迁移的存储流量。

迁移网络被设置为使用CIDR表示法的网络。这样做的好处是你不需要为每一个节点设置单独的IP地址。{pve}可以从CIDR形式指定的网络中确定目的节点上的真实地址。为了启用这一点，必须指定网络，以便每个节点在相应网络中恰好有一个IP地址。

集群文件系统中的某些目录使用符号链接，以指向节点自己的配置文件。因此，下表中指向的文件在集群的每个节点上都是不同的文件。

您可以通过以下方式启用详细的syslog消息：

echo "1" >/etc/pve/.debug

并通过以下方式禁用详细的syslog消息：

echo "0" >/etc/pve/.debug

推荐的方法是，在您将节点从集群中移除后重新安装该节点。这确保所有秘密的集群/ssh密钥和任何共享的配置数据都被销毁。

在某些情况下，您可能更愿意将一个节点重新置于本地模式，而无需重新安装，这在不重新安装而分离节点中有描述。

对于位于`nodes/<NAME>/qemu-server/（虚拟机）和`nodes/<NAME>/lxc/（容器）中的客户配置文件，{pve}视包含节点`<NAME>`为相应客户的所有者。这一概念使得可以使用本地锁替代昂贵的集群范围锁定，以防止客户配置的并发更改。

因此，如果一个客户机的所有节点发生故障（例如，由于停电、围栏事件等），即使所有磁盘都位于共享存储上，也不可能进行常规迁移，因为无法获取（离线）所有节点上的这种本地锁。对于HA（高可用性）管理的客户机来说，这不是问题，因为{pve}的高可用性堆栈包括了必要的（集群范围内的）锁定和看门狗功能，以确保正确并自动地从被围栏的节点恢复客户机。

如果一个非HA管理的客户机只有共享磁盘（没有其他仅在失效节点上可用的本地资源），可以通过简单地将客户机配置文件从失效节点的`/etc/pve/`目录移动到在线节点的目录（这改变了客户机的逻辑所有者或位置）来手动恢复。

例如，通过在集群的任一成员节点上以root身份运行以下命令，可以从离线的`node1`节点恢复ID为`100`的虚拟机到另一个节点`node2`：

mv /etc/pve/nodes/node1/qemu-server/100.conf /etc/pve/nodes/node2/qemu-server/

许多存储设备，以及QEMU镜像格式`qcow2`，支持’薄置备'。使用薄置备时，只有客户系统实际使用的块会被写入存储。

例如，如果你创建了一个配备32GB硬盘的虚拟机，在安装了客户系统操作系统后，虚拟机的根文件系统包含3GB的数据。在这种情况下，即使虚拟机看到的是32GB硬盘，存储上也只写入了3GB的数据。通过这种方式，细粒度预配允许你创建大于当前可用存储块的磁盘映像。你可以为你的虚拟机创建大容量的磁盘映像，并且在需要时，无需调整虚拟机文件系统的大小，就可以向你的存储中添加更多磁盘。

所有具有“快照”功能的存储类型也支持瘦置备。

每个存储池都有一个`<type>，并且通过其<STORAGE_ID>`进行唯一识别。一个池配置看起来像这样：

"The <type>: <STORAGE_ID> 行开始定义存储池，随后是一系列属性的列表。大多数属性需要一个值。一些属性有合理的默认值，这种情况下你可以省略值。"

要更具体一点，看看安装后的默认存储配置。它包含一个名为`local`的特殊本地存储池，指向目录`/var/lib/vz`，并且始终可用。{pve}安装程序会根据安装时选择的存储类型创建额外的存储条目。

几种存储类型之间有一些共同的存储属性。

对于`image`类型的卷存在所有权关系。每个此类卷都由一个虚拟机或容器所拥有。例如，卷`local:230/example-image.raw`由虚拟机230拥有。大多数存储后端将这种所有权信息编码到卷名称中。

当你移除一个虚拟机或容器时，系统也会删除所有与该虚拟机或容器相关联的、归该虚拟机或容器所有的卷。

添加存储池

pvesm add <TYPE> <STORAGE_ID> <OPTIONS> pvesm add dir <STORAGE_ID> --path <PATH> pvesm add nfs <STORAGE_ID> --path <PATH> --server <SERVER> --export <EXPORT> pvesm add lvm <STORAGE_ID> --vgname <VGNAME> pvesm add iscsi <STORAGE_ID> --portal <HOST[:PORT]> --target <TARGET>

禁用存储池

pvesm set <STORAGE_ID> --disable 1

启用存储池

pvesm set <STORAGE_ID> --disable 0

更改/设置存储选项

pvesm set <STORAGE_ID> <OPTIONS> pvesm set <STORAGE_ID> --shared 1 pvesm set local --format qcow2 pvesm set <STORAGE_ID> --content iso

删除存储池。这不会删除任何数据，也不会断开连接或卸载任何东西。它只是删除存储配置。

pvesm remove <STORAGE_ID>

分配卷

pvesm alloc <STORAGE_ID> <VMID> <name> <size> [--format <raw|qcow2>]

在本地存储中分配一个4G的卷。如果你传递一个空字符串作为`<name>`，名称将自动生成。

pvesm alloc local <VMID> 4G

自由体积

pvesm free <VOLUME_ID>

列出存储状态

pvesm状态

列出存储内容

pvesm list <STORAGE_ID> [--vmid <VMID>]

列出由VMID分配的卷

pvesm list <STORAGE_ID> --vmid <VMID>

列出ISO镜像文件

pvesm list <STORAGE_ID> --content iso

列表容器模板

pvesm list <STORAGE_ID> --content vztmpl

显示卷的文件系统路径

pvesm path <VOLUME_ID>

将卷 local:103/vm-103-disk-0.qcow2 导出到文件 target。这主要在使用 pvesm import 时内部使用。流格式 qcow2+size 与 qcow2 格式不同。因此，导出的文件不能简单地附加到虚拟机。这也适用于其他格式。

pvesm export local:103/vm-103-disk-0.qcow2 qcow2+size target --with-snapshots 1

这个后端支持所有常见的存储属性，并增加了两个额外的属性。`path`属性用于指定目录。这需要是一个绝对的文件系统路径。

可选的 content-dirs 属性允许更改默认布局。它由以下格式的标识符组成的逗号分隔列表构成：

路径类型

在这里，vtype 是存储允许的内容类型之一，而 path 是相对于存储的挂载点的路径。

上述配置定义了一个名为 backup 的存储池。该存储池可用于存储最多7个常规备份（keep-last=7）以及每个虚拟机3个受保护的备份。备份文件的实际路径是 /mnt/backup/custom/backup/dir/...。

这个后端使用了一个定义良好的命名方案来命名虚拟机镜像：

vm-<VMID>-<NAME>.<FORMAT>

当您创建一个虚拟机模板时，所有虚拟机镜像都会被重新命名，以表明它们现在是只读的，并且可以作为克隆的基础镜像使用：

base-<VMID>-<NAME>.<FORMAT>

正如上面提到的，大多数文件系统并不支持开箱即用的快照功能。为了解决这个问题，这个后端能够利用`qcow2`内部的快照功能。

克隆也是如此。后端使用`qcow2`基础映像功能来创建克隆。

请使用以下命令在`local`存储上分配一个4GB的镜像：

后端支持所有常见的存储属性，除了共享标志始终被设置外。此外，以下属性用于配置NFS服务器：

你也可以设置NFS挂载选项：

NFS不支持快照，但后端使用`qcow2`功能来实现快照和克隆。

你可以用以下方法获取已导出NFS共享的列表：

后端支持所有常见的存储属性，除了共享标志始终设置之外。此外，以下是CIFS特殊属性可用：

CIFS不支持在存储级别上的快照。但是如果你仍然希望拥有快照和克隆功能，你可以使用`qcow2`备份文件。

你可以通过以下方式获取已导出的CIFS共享列表：

然后你可以使用以下方法将这个分享作为存储添加到整个{pve}集群中：

后端支持所有常见的存储属性，除了始终设置的共享标志外。此外，还有以下Proxmox Backup Server的特殊属性可用：

Proxmox Backup Server仅支持备份，它们可以是块级别的或文件级别的。{pve}对于虚拟机使用块级别，对于容器使用文件级别。

您可以选择使用AES-256在GCM模式下配置客户端加密。加密可以通过网络界面配置，也可以在CLI上使用`encryption-key`选项配置(见上文)。密钥将被保存在文件`/etc/pve/priv/storage/<STORAGE-ID>.enc`中，该文件仅能由root用户访问。

建议您将密钥保管在安全但又便于快速获取的地方，以便在紧急情况下快速恢复。因此，最佳的存储位置是您的密码管理器，可以立即恢复。作为备份，您还应该将密钥保存到USB闪存驱动器，并将其存储在一个安全的地方。这样，密钥与任何系统隔离，但在紧急情况下仍然易于恢复。最后，为了准备最坏的情况，您还应该考虑将密钥的纸质副本锁在一个安全的地方。可以使用`paperkey`子命令创建密钥的QR编码版本。以下命令将`paperkey`命令的输出发送到文本文件，以便轻松打印。

此外，可以使用单个RSA主密钥对来进行密钥恢复：配置所有执行加密备份的客户端使用单一的公共主密钥，之后所有加密的备份都将包含一个使用RSA加密的AES加密密钥副本。相应的私有主密钥允许恢复AES密钥并解密备份，即使客户端系统不再可用。

因为加密是在客户端管理的，所以你可以在服务器上使用相同的数据存储来进行未加密备份和加密备份，即使这些备份使用的是不同的密钥。然而，使用不同密钥的备份之间无法进行数据去重，因此通常最好创建单独的数据存储。

然后你可以使用以下方法将这个共享作为存储添加到整个 {pve} 集群中：

后端支持所有常见的存储属性，并添加了以下GlusterFS特定选项：

目录布局和文件命名约定是继承自 dir 后端的。

该存储提供了文件级别的接口，但没有原生的快照/克隆实现。

后端支持常见的存储属性`content`、nodes、disable，以及以下特定于ZFS的属性：

后端对虚拟机镜像使用以下命名方案：

ZFS可能是关于快照和克隆方面最先进的存储类型。后端使用ZFS数据集来存储虚拟机镜像（格式为`raw`）和容器数据（格式为`subvol`）。ZFS属性从父数据集继承，因此你可以简单地在父数据集上设置默认值。

建议创建一个额外的ZFS文件系统来存储你的虚拟机镜像：

要在那个新分配的文件系统上启用压缩：

LVM后端支持常见的存储属性`content`、nodes、disable，以及以下LVM特定的属性：

后端基本上使用与ZFS池后端相同的命名约定。

vm-<VMID>-<NAME> // 普通的虚拟机镜像

LVM是典型的块存储，但这种后端不支持快照和克隆。不幸的是，正常的LVM快照效率相当低，因为它们会在快照期间干扰整个卷组上的所有写操作。

一个很大的优势是你可以将它用在共享存储之上，例如，一个iSCSI的逻辑单元号(LUN)。后端本身实现了适当的集群范围内的锁定。

列出可用的卷组：

LVM薄后端支持常见的存储属性`content`、nodes、disable，以及以下LVM特有的属性：

后端基本上使用与ZFS池后端相同的命名约定。

vm-<VMID>-<NAME> // 普通虚拟机镜像

LVM thin 是一种块存储，但完全支持快照和克隆的高效。新卷会自动用零初始化。

必须指出，LVM薄池不能跨多个节点共享，因此您只能将它们用作本地存储。

列出卷组 pve 上可用的LVM薄池：

用户模式iSCSI后端使用与Open-iSCSI后端相同的配置选项。

这个后端支持常见的存储属性`nodes`、disable、content，以及以下`rbd`特定属性：

如果你使用的是默认启用的`cephx`认证，你需要提供来自外部Ceph集群的密钥环。

通过CLI配置存储，您首先需要使包含密钥环的文件可用。一种方式是直接从外部Ceph集群将文件复制到{pve}节点之一。以下示例将其复制到我们运行它的节点的`/root`目录：

然后使用 pvesm CLI 工具来配置外部 RBD 存储，使用 --keyring 参数，这需要是您复制的密钥环文件的路径。例如：

在通过图形用户界面配置外部RBD存储时，可以复制并粘贴密钥环到相应的字段中。

密钥环将被存储在

连接到外部Ceph存储时，并不总是允许在外部集群的配置数据库中设置客户端特定的选项。你可以添加一个`ceph.conf`文件在Ceph密钥环旁边，以更改存储的Ceph客户端配置。

ceph.conf需要与存储具有相同的名称。

请参见RBD配置参考脚注：[RBD配置参考 {cephdocs-url}/rbd/rbd-config-ref/] 了解可能的设置。

rbd`后端是一种块级存储，并实现了完整的快照和克隆功能。

这个后端支持常见的存储属性`nodes`、disable、content，以及以下`cephfs`特定的属性：

如果您使用的是默认启用的`cephx`身份验证，那么您需要提供外部Ceph集群的密钥。

通过CLI配置存储，首先需要使包含秘密的文件可用。一种方法是直接从外部Ceph集群将文件复制到{pve}节点之一。以下示例将其复制到我们运行它的节点的`/root`目录：

然后使用 pvesm 命令行工具来配置外部的RBD存储, 使用 --keyring 参数，该参数需要是你复制的密钥文件的路径。例如：

通过GUI配置外部RBD存储时，您可以将密钥复制并粘贴到相应的字段中。

秘密仅仅是密钥本身，与`rbd`后端不同，后者还包含一个`[client.userid]`部分。

秘密将被存放在

通过以下命令可以从Ceph集群（作为Ceph管理员）接收到一个秘密，其中`userid`是已配置为访问集群的客户端ID。有关Ceph用户管理的更多信息，请查阅Ceph文档。^{[cephusermgmt]}

cephfs 后端是一个遵循 POSIX 的文件系统，构建在 Ceph 集群之上。

虽然当前没有已知的错误，但快照尚未保证稳定性，因为它们缺乏足够的测试。

这个后端配置与目录存储类似。请注意，当添加一个目录作为BTRFS存储，而该目录又不是挂载点本身时，强烈建议通过`is_mountpoint`选项指定实际的挂载点。

例如，如果BTRFS文件系统挂载在`/mnt/data2`，并且它的`pve-storage/`子目录（可能是快照，这是推荐的）应该被添加为名为`data2`的存储池，你可以使用以下条目：

当对子卷或`raw`文件进行快照时，快照将作为一个只读子卷创建，其路径与原路径相同，后跟一个`@`符号和快照的名称。

为了使用ZFS over iSCSI插件，您需要配置远程机器（目标）以接受来自{pve}节点的`ssh`连接。{pve}连接到目标机器以创建ZVOLs并通过iSCSI导出它们。认证是通过存储在`/etc/pve/priv/zfs/<target_ip>_id_rsa`中的无密码保护的ssh-key完成的。

以下步骤创建一个ssh密钥并将其分发到IP为192.0.2.1的存储机器：

后端支持常见的存储属性`content`、nodes、disable，以及以下特定于ZFS over ISCSI的属性：

ZFS通过iSCSI插件提供了一个能够进行快照的共享存储。你需要确保在部署过程中，ZFS设备不会成为单点故障。

通过使用{pve}，您可以享受到一个易于使用的Ceph安装向导的好处。点击您的集群节点之一，并在菜单树中导航至Ceph部分。如果Ceph尚未安装，您将看到一个提示，提供安装服务。

巫师被分成多个部分，每个部分都需要成功完成，才能使用Ceph。

首先，你需要选择你要安装的Ceph版本。优先选择其他节点上的版本，或者如果这是你安装Ceph的第一个节点，则选择最新的版本。

开始安装后，向导程序将从{pve}的Ceph存储库下载并安装所有必需的软件包。

完成安装步骤后，您将需要创建一个配置。这个步骤每个集群只需要进行一次，因为这个配置会通过 {pve} 的集群式配置文件系统 (pmxcfs)自动分发给集群中的所有其他成员。

配置步骤包括以下设置：

你还有两个选项被认为是高级的，因此只有在你知道自己在做什么的情况下才应该更改。

此外，您需要选择您的第一个监视器节点。这个步骤是必需的。

就这样了。您现在应该在最后一步看到一个成功页面，并获得关于如何继续操作的进一步指导。您的系统现在已经准备好开始使用Ceph了。要开始使用，您需要创建一些额外的监视器、OSDs以及至少一个池。

本章的其余部分将指导您充分利用基于{pve}的Ceph设置。这包括前述的技巧等更多内容，例如CephFS，这是对您的新Ceph集群的有益补充。

作为网页界面中推荐的{pve} Ceph安装向导的另一种选择，你可以在每个节点上使用以下CLI命令：

这将在 /etc/apt/sources.list.d/ceph.list 中设置一个 apt 软件包仓库，并安装所需的软件。

使用 {pve} Ceph 安装向导（推荐）或在一个节点上运行以下命令：

这会在 /etc/pve/ceph.conf 创建一个初始配置，其中为Ceph专用了一个网络。该文件会自动分发到所有的{pve}节点，使用pmxcfs来实现。该命令还会在 /etc/ceph/ceph.conf 创建一个指向该文件的符号链接。因此，您可以简单地运行Ceph命令，无需指定配置文件。

在每个你想要放置监控器的节点上（推荐三个监控器），通过使用GUI中的’Ceph → Monitor’标签页或运行以下命令来创建一个监控器：

要通过GUI删除一个Ceph监视器，首先在树视图中选择一个节点，然后转到Ceph → Monitor面板。选择MON并点击Destroy按钮。

要通过CLI移除一个Ceph Monitor，首先连接到运行MON的节点上。然后执行以下命令：

可以安装多个管理器，但任何给定时间内只有一个管理器处于活动状态。

要通过图形界面删除一个Ceph管理器，首先在树状视图中选择一个节点，然后转到Ceph → Monitor面板。选择管理器，然后点击Destroy按钮。

通过CLI移除一个Ceph监控器时，首先连接到运行管理器的节点。然后执行以下命令：

您可以通过{pve}网页界面或使用`pveceph`命令行界面来创建一个OSD。例如：

如果磁盘之前已经被使用过（例如，用作ZFS或作为OSD），你首先需要清除所有这些用途的痕迹。要移除分区表、引导扇区以及任何其他OSD遗留的内容，你可以使用以下命令：

从Ceph Kraken版本开始，引入了一种新的Ceph OSD存储类型，名为Bluestore ^[4]。从Ceph Luminous版本开始，创建OSDs时这是默认设置。

如果你想为你的OSD使用独立的数据库/写前日志设备，你可以通过'-db_dev’和'-wal_dev’选项来指定它。如果不单独指定，写前日志将和数据库放置在一起。

您可以分别使用'-db_size’和'-wal_size’参数直接选择它们的大小。如果没有提供这些参数，将按顺序使用以下值：

在Ceph Luminous之前，Filestore被用作Ceph OSD的默认存储类型。从Ceph Nautilus开始，{pve}不再支持使用’pveceph’创建这样的OSD。如果您仍然想要创建filestore OSD，请直接使用’ceph-volume'。

通过图形界面删除一个OSD，首先在树状视图中选择一个{PVE}节点，然后前往Ceph → OSD面板。接着选择要销毁的OSD并点击OUT按钮。一旦OSD状态从`in`变为`out`，点击STOP按钮。最后，状态从`up`变为`down`后，从`More`下拉菜单中选择Destroy。

通过CLI运行以下命令来删除一个OSD。

以下命令将销毁OSD。指定'-cleanup’选项以额外销毁分区表。

您可以通过任何{pve}主机的命令行或者Ceph → Pools下的网页界面来创建和编辑存储池。

当没有给出选项时，我们设置了默认值为 128个PGs、3副本的大小以及最小2副本的大小，以确保任何OSD失败时不会发生数据丢失。

建议您启用PG-Autoscaler或根据您的设置计算PG数量。您可以在网上找到公式和PG计算器的脚注：[PG计算器 https://web.archive.org/web/20210301111112/http://ceph.com/pgcalc/]。从Ceph Nautilus版本开始，您可以在设置之后改变PGs的数量，详见脚注：[placement_groups,Placement Groups {cephdocs-url}/rados/operations/placement-groups/]。

PG自动缩放器^[5]可以在后台自动调整池的PG数量。设置`目标大小`或`目标比例`高级参数有助于PG自动缩放器做出更好的决策。