...
Aug 26 13:00:09 node1 systemd[1]: 已启动 Chrony，一个NTP客户端/服务器。
Aug 26 13:00:15 node1 chronyd[4873]: 已选择源 10.0.0.1 (ntp1.example.com)
Aug 26 13:00:15 node1 chronyd[4873]: 系统时钟TAI偏移设置为37秒
...

[TIP]
====
池名称必须遵守以下规则：

* 以一个字母（a-z或A-Z）开头
* 仅包含字母数字字符、`-`、`_`、`.`、`:` 或空格(` `)字符。
* 不能以`mirror`、`raidz`、`draid`或`spare`为开头
* 不得为 `log
====

要激活压缩（参见章节<<zfs_compression,ZFS中的压缩>>）：

[[sysadmin_zfs_create_new_zpool_raid0]]
创建一个新的RAID-0池
^^^^^^^^^^^^^

最少1个磁盘

[[sysadmin_zfs_create_new_zpool_raid1]]
创建一个带有RAID-1的新存储池
^^^^^^^^^^^^^^^^^

至少2个磁盘

[[sysadmin_zfs_create_new_zpool_raid10]]
创建一个使用RAID-10的新池
^^^^^^^^^^^^^^^^

最少4个磁盘

[[sysadmin_zfs_create_new_zpool_raidz1]]
创建一个带有RAIDZ-1的新池
^^^^^^^^^^^^^^^^

最少3个磁盘

创建一个使用RAIDZ-2的新存储池
^^^^^^^^^^^^^^^^^^

最少4个磁盘

请阅读xref:sysadmin_zfs_raid_considerations[ZFS RAID 级别考虑]部分，以便在设置池时，特别是想要使用 RAID-Z 模式时，获得 IOPS 和带宽预期的大致估计。

[[sysadmin_zfs_create_new_zpool_with_cache]]
创建一个带有缓存（L2ARC）的新池
^^^^^^^^^^^^^^^^^^

可以使用专用设备或分区作为二级缓存以提高性能。这样的缓存设备尤其有助于大部分数据相对静态的随机读取工作负载。由于它充当实际存储和内存中的ARC之间的额外缓存层，因此如果由于内存限制需要减少ARC的大小，它也可以提供帮助。

.创建一个带有磁盘缓存的ZFS池

这里只使用了一个`<device>`和一个`<cache-device>`，但是可以使用更多设备，就像在xref:sysadmin_zfs_create_new_zpool_raid0[使用RAID创建新池]中所展示的那样。

请注意，对于缓存设备不存在镜像或RAID模式，它们都是简单地累加起来的。

如果任何缓存设备在读取时产生错误，ZFS将透明地将该请求转向底层存储层。


[[sysadmin_zfs_create_new_zpool_with_log]]
创建一个带有日志(ZIL)的新池子
^^^^^^^^^^^^^^^^^

可以使用专用的驱动器或分区作为ZFS意图日志（ZIL），它主要用于提供安全的同步事务，因此经常用在性能关键路径上，比如数据库，或者其他更频繁发出`fsync`操作的程序。

池作为默认的ZIL位置，将ZIL IO负载转移到一个单独的设备上，可以在缓解主池的同时，帮助减少事务延迟，提高整体性能。

将磁盘用作日志设备，无论是直接使用还是通过分区，建议：

- 使用具有断电保护的快速SSD，因为这些设备的提交延迟要小得多。

- 为分区（或整个设备）至少分配几GB的空间，但使用超过您已安装内存一半以上的空间并不会为您带来任何真正的好处。

.创建具有独立日志设备的ZFS池

在上面的例子中使用了单个`<device>`和单个`<log-device>`，但是您也可以将其与其他RAID变体结合使用，如xref:sysadmin_zfs_create_new_zpool_raid0[创建一个新的具有RAID的池]部分所述。

你也可以将日志设备镜像到多个设备上，这主要是为了确保如果单个日志设备出现故障，性能不会立即下降。

如果所有的日志设备都失败了，ZFS主池本身将再次被使用，直到日志设备被替换。

[[sysadmin_zfs_add_cache_and_log_dev]]
将缓存和日志添加到现有资源池中
^^^^^^^^^^^^^^^

如果你有一个没有缓存和日志的池，你仍然可以在任何时候添加它们中的一个或两个。

例如，假设你有一块带有断电保护功能的优质企业级SSD，你想用它来提升你的池（pool）的整体性能。

日志设备的最大大小应该约为已安装物理内存的一半，这意味着ZIL大多数情况下只会占用SSD的一小部分，剩余空间可以用作缓存。

首先你需要使用`parted`或`gdisk`在SSD上创建两个GPT分区。

那么你就可以将它们添加到资源池中：

.将一个单独的日志设备和二级缓存同时添加到现有的资源池中。

只需将 `<pool>`、`<device-part1>` 和 `<device-part2>` 分别替换为池名称以及指向分区的两个 `/dev/disk/by-id/` 路径。

你也可以分别添加ZIL和缓存。

.向现有的ZFS池添加一个日志设备

[[sysadmin_zfs_change_failed_dev]]
更换失败的设备
^^^^^^^

.更换失败的可启动设备

根据{pve}的安装方式，它要么是使用`systemd-boot`，要么通过`proxmox-boot-tool`使用GRUB footnote:[系统安装了{pve} 6.4或更高版本，EFI系统安装了{pve} 5.4或更高版本]，或者使用普通的GRUB作为引导程序（见xref:sysboot[主机引导程序]）。您可以通过运行以下命令来检查：

复制分区表、重新发行GUID以及替换ZFS分区的首要步骤是相同的。为了使系统能够从新磁盘启动，需要执行不同的步骤，这些步骤取决于所使用的引导加载程序。

NOTE: 使用 `zpool status -v` 命令来监控新磁盘的重银化（resilvering）进程的进展情况。

.使用 `proxmox-boot-tool`：

NOTE: "`ESP` 代表 EFI 系统分区，这是由 {pve} 安装程序自版本 5.4 起在可启动磁盘上设置为分区＃2。有关详细信息，请参阅 xref:sysboot_proxmox_boot_setup[设置新分区以用作同步的 ESP]。"

NOTE: 如果`proxmox-boot-tool status`显示您当前的磁盘正在使用GRUB，特别是当启用了Secure Boot时，请确保以'grub'模式传递给`proxmox-boot-tool init`！

.使用普通的GRUB:

NOTE: 普通的GRUB只在安装了{pve} 6.3或更早版本的系统上使用，这些系统尚未手动迁移到使用`proxmox-boot-tool`。


配置电子邮件通知
~~~~~~~~

ZFS附带一个事件守护进程`ZED`，它监控ZFS内核模块生成的事件。守护进程还可以在发生ZFS事件（如池错误）时发送电子邮件。较新的ZFS包将守护进程分包在一个独立的`zfs-zed`包中，通常情况下这个包在{pve}中应该已经默认安装。

你可以通过你最喜欢的编辑器在文件`/etc/zfs/zed.d/zed.rc`中配置守护进程。电子邮件通知所需的设置是`ZED_EMAIL_ADDR`，默认设置为`root`。

--------
ZED_EMAIL_ADDR="root"
--------

请注意，{pve} 将邮件转发给 `root` 用户配置的电子邮件地址。


[[sysadmin_zfs_limit_memory_usage]]
限制ZFS内存使用
~~~~~~~~~

默认情况下，ZFS会使用主机内存的'50%'来作为**自适应替换缓存**（Adaptive Replacement Cache，简称ARC）。对于从{pve} 8.1开始的新安装，ARC的使用限制将被设置为安装的物理内存的'10%'，并限制在最大+16 GiB+。该值将被写入到`/etc/modprobe.d/zfs.conf`中。

为ARC分配足够的内存对于IO性能至关重要，因此请谨慎减少它。作为一个一般的经验法则，至少应该分配+2 GiB基础内存+每TiB存储空间增加1 GiB。例如，如果你有一个+8 TiB+的可用存储空间的池子，那么你应该为ARC使用+10 GiB+的内存。

ZFS 也强制执行最小值 +64 MiB+。

您可以通过直接写入+zfs_arc_max+模块参数来更改当前启动的ARC使用限制（重启会再次重置此更改）：

要**永久更改**ARC限制，请在`/etc/modprobe.d/zfs.conf`文件中添加（或修改已存在的）以下行：

--------
options zfs zfs_arc_max=8589934592
--------

这个示例设置将使用限制为8 GiB（'8 * 2^30^'）。

IMPORTANT: 如果您想要设置的+zfs_arc_max+值小于等于+zfs_arc_min+（其默认值为系统内存的1/32），则除非您同时将+zfs_arc_min+设为最多+zfs_arc_max - 1+，否则+zfs_arc_max+将会被忽略。

这个示例设置（临时）将内存使用限制在8 GiB（'8 * 2^30'）, 适用于总内存超过256 GiB的系统，在这些系统中，仅设置+zfs_arc_max+是不起作用的。

[IMPORTANT]
====
如果您的根文件系统是ZFS，每次这个值发生变化时，您都必须更新您的initramfs：

你*必须重启*电脑来激活这些更改。
====


[[zfs_swap]]
在ZFS上交换
~~~~~~~

在zvol上创建的交换空间可能会引起一些问题，比如阻塞服务器或产生高IO负载，这种情况常在启动对外部存储的备份时看到。

我们强烈建议使用足够的内存，这样通常不会遇到内存不足的情况。如果你需要或希望添加交换空间，建议在物理磁盘上创建一个分区并将其用作交换设备。你可以在安装程序的高级选项中预留一些空间用于此目的。此外，你可以降低“交换倾向”值。对于服务器来说，10是一个好的值：

要使交换性(swappiness)设置持久化，用你选择的编辑器打开`/etc/sysctl.conf`文件，并添加以下行：

--------
vm.swappiness = 10
--------

.Linux内核 `swappiness` 参数值
[width="100%", cols="<m,2d", options="header"]
|===========================================================
| 值                  | 策略
| vm.swappiness = 0   | 内核只会在避免“内存不足”条件下才进行交换
| vm.swappiness = 1   | 不完全禁用交换的最小数量。
| vm.swappiness = 10  | 当系统存在足够内存时，有时推荐此值以提高性能。
| vm.swappiness = 60  | 默认值。
| vm.swappiness = 100 | 内核将积极进行交换。
|===========================================================

[[zfs_encryption]]
加密的ZFS数据集
~~~~~~~~~

WARNING: '''{pve}中的原生ZFS加密目前还处于实验阶段。已知的限制和问题包括使用加密数据集进行复制时的问题footnote:[https://bugzilla.proxmox.com/show_bug.cgi?id=2350]，以及在使用快照或ZVOLs时出现的校验和错误。footnote:[https://github.com/openzfs/zfs/issues/11688]'''

ZFS在Linux版本0.8.0引入了对数据集本机加密的支持。在从先前的ZFS on Linux版本升级之后，可以按照池启用加密功能：

WARNING: 目前GRUB不支持从含有加密数据集的池中引导启动，且对于启动时自动解锁加密数据集的支持也有限。不支持加密功能的旧版本ZFS将无法解密存储的数据。

NOTE: 建议在启动后手动解锁存储数据集，或者编写一个自定义单元，在启动时将解锁所需的密钥材料传递给 `zfs load-key`。

WARNING: 在启用生产数据加密之前，建立并测试备份程序。如果相关的密钥材料/密码/密钥文件丢失，将无法再访问加密数据。

在创建数据集/zvols时需要设置加密，并且默认情况下这个设置会继承给子数据集。例如，要创建一个加密的数据集 `tank/encrypted_data` 并在 {pve} 中配置它作为存储，请运行以下命令：

在此存储上创建的所有访客卷/磁盘将使用父数据集的共享密钥材料进行加密。

要实际使用存储空间，需要加载相关的密钥材料并且挂载数据集。这可以通过以下一步完成：

也可以通过设置`keylocation`和`keyformat`属性来使用(随机的)密钥文件代替密码提示，这可以在创建时或通过`zfs change-key`在现有数据集上进行。

WARNING: 在使用密钥文件时，需要特别注意保护密钥文件不受未授权访问或意外丢失。如果没有密钥文件，将无法访问明文数据！

在加密数据集下创建的客户卷将会相应地设置其`encryptionroot`属性。密钥材料只需要为每个encryptionroot加载一次，就可以对其下所有加密数据集可用。

请参阅`encryptionroot`、`encryption`、`keylocation`、`keyformat`和`keystatus`属性，`zfs load-key`、`zfs unload-key`和`zfs change-key`命令，以及`man zfs`中的`Encryption`部分，以获取更多详细信息和高级用法。


[[zfs_compression]]
ZFS中的压缩
~~~~~~~

当在数据集上启用压缩时，ZFS会在写入之前尝试压缩所有*新*块，并在读取时解压它们。已经存在的数据不会被追溯压缩。

您可以通过以下方式启用压缩：

我们推荐使用`lz4`算法，因为它几乎不会增加CPU的负担。其他像`lzjb`和`gzip-N`的算法也是可用的，其中`N`是从`1`（最快）到`9`（最佳压缩比）的整数。根据选择的算法以及数据的可压缩性，启用压缩甚至可能提升I/O性能。

您可以随时使用以下方法禁用压缩：

再次强调，只有新的区块会受到这次变化的影响。


[[sysadmin_zfs_special_device]]
ZFS 专用设备
~~~~~~~~

自0.8.0版本起，ZFS支持`special`设备。在存储池中，`special`设备用于存储元数据、去重表格，以及可选的小文件块。

一个`特殊`设备可以提高由旋转速度慢的硬盘组成的存储池的速度，尤其是在有大量元数据变化的情况下。例如，涉及创建、更新或删除大量文件的工作负载将从`特殊`设备的存在中受益。ZFS数据集也可以配置为将所有小文件存储在`特殊`设备上，这进一步提高了性能。使用快速的SSD作为`特殊`设备。

IMPORTANT: special`设备的冗余度应该与池的冗余度相匹配，因为`special`设备是整个池的故障点。

WARNING: 向池中添加一个`特别的`设备是无法撤销的！

.创建一个带有`special`设备和RAID-1的池：

.将一个`special`设备添加到已存在的RAID-1池中：

ZFS数据集暴露了`special_small_blocks=<size>`属性。`size`可以是`0`，以禁用在`special`设备上存储小文件块，或者是在`512B`到`1M`范围内的二的幂次方。设置该属性后，小于`size`的新文件块将被分配到`special`设备上。

IMPORTANT: 如果`special_small_blocks`的值大于或等于数据集的`recordsize`（默认`128K`），*所有*数据将被写入`special`设备，所以要小心！

在池(pool)上设置`special_small_blocks`属性将改变该属性对所有子ZFS数据集的默认值（例如，池中的所有容器都将选择小文件块）。

.为所有小于4K块大小的文件选择加入到全局池中：

.为单个数据集选择启用小文件块：

.为单个数据集选择退出小文件块：

[[sysadmin_zfs_features]]
ZFS池功能
~~~~~~

在ZFS中，对磁盘格式的更改只在主要版本更迭时进行，并通过*特性*来指定。所有特性以及通用机制都在`zpool-features(5)`手册页中有详细文档说明。

由于启用新特性可能会导致池不可被旧版本的ZFS导入，因此需要管理员主动进行，通过在池上运行 `zpool upgrade` 命令（参见 `zpool-upgrade(8)` 手册页）。

除非你需要使用其中的新功能，否则启用它们没有好处。

实际上，启用新功能也有一些缺点：

* 一个使用ZFS作为根文件系统的系统，如果仍通过GRUB引导启动，并且在rpool上激活了新功能，由于GRUB中ZFS的实现不兼容，这将导致系统无法启动。
* 当系统使用一个较旧的内核启动时，它将无法导入任何升级过的存储池，因为该旧内核仍然附带旧版的ZFS模块。
* 使用较旧的{pve} ISO引导以修复一个无法启动的系统同样不会起作用。

IMPORTANT: 如果您的系统仍然使用GRUB引导，请*不要*升级您的rpool，因为这会导致您的系统无法启动。这包括在{pve} 5.4之前安装的系统，以及使用传统BIOS启动的系统（请参阅xref:sysboot_determine_bootloader_used[如何确定使用的引导加载程序]）。

.为ZFS池启用新特性：

[[chapter_btrfs]]
BTRFS
-----

WARNING: BTRFS集成目前在{pve}中是一个**技术预览**。

BTRFS 是一个现代的写时复制文件系统，由 Linux 内核原生支持，实现了如快照、内建 RAID 以及通过数据和元数据的校验和进行自我修复的功能。从 {pve} 7.0 开始，BTRFS 被引入作为根文件系统的可选项。

.BTRFS的一般优势

* 主系统设置几乎与传统基于ext4的设置相同。

* 快照

* 文件系统级别的数据压缩

* 写时复制克隆

* RAID0、RAID1和RAID10

* 数据防损坏保护

* 自愈

* 原生支持的Linux内核

* ...

.注意事项

* RAID 5/6级别是实验性的并且危险的

作为根文件系统的安装
~~~~~~~~~~

当您使用{pve}安装程序进行安装时，可以选择BTRFS作为根文件系统。您需要在安装时选择RAID类型：

[horizontal]
RAID0:: 也被称为“条带化”。这种卷的容量是所有磁盘容量的总和。但是RAID0没有增加任何冗余，因此单个驱动器的故障会导致卷不可用。

RAID1:: 也被称为“镜像”。数据会被一模一样地写入到所有磁盘中。这种模式至少需要两块相同大小的磁盘。其结果容量等同于单个磁盘的容量。

RAID10:: RAID0和RAID1的组合。至少需要4个磁盘。

安装程序会自动分区磁盘，并在 `/var/lib/pve/local-btrfs` 创建一个额外的子卷。为了能够使用 {pve} 工具，安装程序会在 `/etc/pve/storage.cfg` 中创建以下配置条目：

这显式地禁用了默认的`local`存储，以支持在额外的子卷上的BTRFS特定存储条目。

btrfs`命令用于配置和管理BTRFS文件系统，在安装后，以下命令列出所有额外的子卷：

BTRFS 管理
~~~~~~~~

这一部分为您提供了一些常见任务的使用示例。

创建一个BTRFS文件系统
^^^^^^^^^^^^^

要创建BTRFS文件系统，使用`mkfs.btrfs`命令。`-d`和`-m`参数分别用于设置元数据和数据的配置文件。可以使用可选的`-L`参数来设置标签。

通常，支持以下模式：`single`、`raid0`、`raid1`、`raid10`。

在单个磁盘`/dev/sdb`上创建一个标签为`My-Storage`的BTRFS文件系统：

或者在两个分区`/dev/sdb1`和`/dev/sdc1`上创建一个RAID1：

挂载BTRFS文件系统
^^^^^^^^^^^

新的文件系统随后可以手动挂载，例如：

BTRFS也可以像任何其他挂载点一样被添加到`/etc/fstab`中，从而在启动时自动挂载。建议避免使用块设备路径，而是使用`mkfs.btrfs`命令打印的`UUID`值，尤其是在BTRFS设置中有多于一个磁盘时。

例如：

.文件 `/etc/fstab

TIP: 如果你不再拥有UUID，你可以使用`blkid`工具列出所有块设备的属性。

之后，你可以通过执行以下操作来触发第一次挂载：

在下次重启后，系统将会在启动时自动完成这项操作。

将BTRFS文件系统添加到{pve}
^^^^^^^^^^^^^^^^^^

您可以通过网络界面将一个现有的BTRFS文件系统添加到{pve}，或者使用命令行界面，例如：

创建一个子卷
^^^^^^

创建一个子卷将其链接到BTRFS文件系统中的一个路径，在那里它将显示为一个普通目录。

之后 `/some/path` 将像一个普通目录一样工作。

删除子卷
^^^^

与通过`rmdir`删除的目录不同，子卷在用`btrfs`命令删除时不需要为空。

创建一个子卷的快照
^^^^^^^^^

BTRFS实际上并不区分快照和普通子卷，所以进行快照实际上也可以被视为创建一个子卷的任意副本。按照惯例，{pve}在创建客户磁盘或子卷的快照时会使用只读标志，但这个标志后来也可以更改。

这将在`/a/new/path`的位置创建一个对`/some/path`子卷的只读"克隆"。对`/some/path`的任何未来修改在修改之前都会使被修改的数据被复制。

如果省略了只读（`-r`）选项，两个子卷都将是可写的。

启用压缩
^^^^

默认情况下，BTRFS不会压缩数据。要启用压缩，可以添加`compress`挂载选项。请注意，已经写入的数据在事后不会被压缩。

默认情况下，rootfs 将如下列在 `/etc/fstab` 文件中：

您可以简单地将 `compress=zstd`、`compress=lzo` 或 `compress=zlib` 追加到上面的 `defaults` 中，如下所示：

这个更改将在重启后生效。

检查空间使用情况
^^^^^^^^

经典的`df`工具可能会对于一些BTRFS设置输出令人困惑的数值。为了获得更好的估算，请使用`btrfs filesystem usage /PATH`命令，例如：

[[proxmox_node_management]]
Proxmox 节点管理
------------

{PVE}节点管理工具（`pvenode`）允许你控制节点特定的设置和资源。

当前，`pvenode` 允许您设置节点的描述、在节点的访客上运行各种批量操作、查看节点的任务历史记录，并通过 `pveproxy` 管理用于 API 和 web GUI 的节点 SSL 证书。









远程唤醒
~~~~
远程唤醒（Wake-on-LAN，简称WoL）允许你通过发送一个魔术包来开启网络中的休眠计算机。至少有一个网络接口卡（NIC）必须支持此功能，并且需要在计算机的固件（BIOS/UEFI）配置中启用相应选项。选项名称可能从“启用网络唤醒”变为“通过PCIE设备开机”；如果不确定，可以查看主板厂商的手册。`ethtool`可以用来检查`<interface>`的WoL配置，通过运行：

pvenode` 允许你通过 WoL 命令唤醒集群中的休眠成员：

这将在UDP端口9上广播WoL魔术包，其中包含从`wakeonlan`属性获得的`<node>`的MAC地址。可以使用以下命令设置特定于节点的`wakeonlan`属性：

通过哪个接口发送WoL数据包是通过默认路由确定的。可以通过以下命令设置`bind-interface`来覆盖它：

广播地址（默认为`255.255.255.255`）在发送WoL（唤醒局域网）数据包时可以通过使用以下命令显式设置`broadcast-address`来进行更改：

任务历史
~~~~

当排查服务器问题时，例如，失败的备份作业，通常查看之前运行任务的日志会很有帮助。使用 {pve}，你可以通过 `pvenode task` 命令访问节点的任务历史。

你可以使用`list`子命令获取节点已完成任务的过滤列表。例如，要获取与虚拟机'100'相关且以错误结束的任务列表，命令将是：

任务的日志可以通过其UPID打印出来。

批量客房电源管理
~~~~~~~~

如果你有很多虚拟机/容器，可以使用 `pvenode` 的 `startall` 和 `stopall` 子命令来批量启动和停止宾主机。默认情况下，`pvenode startall` 仅会启动在引导时设为自动启动的虚拟机/容器（参见 xref:qm_startup_and_shutdown[虚拟机的自动启动和关闭]），但是你可以使用 `--force` 标志来覆盖此行为。这两个命令还有一个 `--vms` 选项，可以限制停止/启动的宾主机到指定的 VMIDs。

例如，要启动虚拟机 '100'、'101' 和 '102'，不管它们是否设置了 `onboot`，你可以使用：

要停止这些客户端（以及可能正在运行的任何其他客户端），请使用以下命令：

NOTE: '''stopall命令首先尝试执行一个干净的关机，然后等待直到所有的客户机都成功关机或者一个可以覆盖的超时（默认为3分钟）到期为止。一旦发生这种情况，并且force-stop参数没有明确设置为0（假），所有仍在运行的虚拟客户机都将被强制停止。'''


[[first_guest_boot_delay]]
首次访客启动延迟
~~~~~~~~

如果您的虚拟机/容器依赖于启动缓慢的外部资源，例如NFS服务器，您也可以设置节点启动后和配置为自动启动的第一台虚拟机/容器启动之间的延迟时间（参见 xref:qm_startup_and_shutdown[虚拟机的自动启动和关闭]）。

你可以通过设置以下参数来实现这一点（其中`10`代表秒数延迟）：

批量客户迁移
~~~~~~

如果升级情况需要你将所有客体从一个节点迁移到另一个节点，`pvenode` 还提供了 `migrateall` 子命令用于批量迁移。默认情况下，此命令将会迁移系统上的每一个客体到目标节点。然而，它可以设置为仅迁移一组特定的客体。

例如，要将虚拟机'100'、'101'和'102'迁移到节点'pve2'，并启用本地磁盘的实时迁移，你可以运行：

// TODO: explain node shutdown (stopall is used there) and maintenance options


[[sysadmin_certificate_management]]
证书管理