软件定义网络

apt update
apt install libpve-network-perl

source /etc/network/interfaces.d/*

apt update
apt install dnsmasq
# disable default instance
systemctl disable --now dnsmasq

apt update
apt install frr-pythontools

apt install frr frr-pythontools

api=yes
api-key=arandomgeneratedstring
webserver=yes
webserver-port=8081

{pve} SDN中的DHCP插件可用于自动部署区域的DHCP服务器。它为配置了DHCP范围的区域中的所有子网提供DHCP服务。目前，唯一可用的DHCP后端插件是dnsmasq插件。

DHCP插件的工作原理是在向VM/CT添加新的网络接口时，在配置在区域内的IPAM插件中分配一个IP。您可以在我们文档中的xref:pvesdn_config_ipam[相应章节]找到有关如何配置IPAM的更多信息。

当虚拟机启动时，MAC地址和IP的映射会在区域的DHCP插件中创建。当网络接口被移除或虚拟机/容器技术被销毁时，IP地址管理系统中的条目和DHCP服务器中的条目也会随之删除。

注意：某些功能（添加/编辑/删除IP映射）目前仅在使用xref:pvesdn_ipam_plugin_pveipam[PVE IPAM插件]时可用。


配置
~~~~~~~~~~~~~

您可以通过Web界面中的区域面板为某个区域启用自动DHCP，在区域的高级选项中启用DHCP。

注意：目前只有简单区域支持自动DHCP

在为一个区域启用了自动DHCP之后，需要为该区域中的子网配置DHCP范围。为此，请转到Vnets面板并选择您想要为其配置DHCP范围的子网。在编辑对话框中，您可以在相应的标签页中配置DHCP范围。或者，您还可以通过以下CLI命令为子网设置DHCP范围：

----
pvesh set /cluster/sdn/vnets/<vnet>/subnets/<subnet>
 -dhcp-range start-address=10.0.1.100,end-address=10.0.1.200
 -dhcp-range start-address=10.0.2.100,end-address=10.0.2.200
----

你的子网还需要配置一个网关，否则自动的DHCP将无法工作。

DHCP插件将只在配置的范围内在IPAM中分配IP地址。

不要忘记也跟随安装步骤来安装 xref:pvesdn_install_dhcp_ipam[dnsmasq DHCP 插件]。

插件
~~~~~~~

Dnsmasq 插件
^^^^^^^^^^^^^^
目前这是唯一的DHCP插件，因此当你为某个区域启用DHCP时，就会使用这个插件。

安装
有关安装，请参阅xref:pvesdn_install_dhcp_ipam[DHCP IPAM]部分。

.Configuration
插件将为dnsmasq部署到的每个区域创建一个新的systemd服务。服务的名称为`dnsmasq@<zone>`。这项服务的生命周期由DHCP插件管理。

该插件会自动在`/etc/dnsmasq.d/<zone>`文件夹中生成以下配置文件：

00-default.conf`文件：
这包含了dnsmasq实例的默认全局配置。

10-<zone>-<subnet_cidr>.conf`文件用于配置子网的特定选项，比如应该通过DHCP配置的DNS服务器。

10-<zone>-<subnet_cidr>.ranges.conf`::
该文件用于为dnsmasq实例配置DHCP范围。

ethers`::
这个文件包含了IPAM插件的MAC地址和IP映射。为了覆盖这些映射，请使用相应的IPAM插件，而不是编辑这个文件，因为它会被dnsmasq插件覆盖。

你不能编辑上述任何文件，因为它们是由 DHCP 插件管理的。为了自定义 dnsmasq 配置，你可以在配置文件夹中创建额外的文件（例如 `90-custom.conf`） - 这些文件不会被 dnsmasq DHCP 插件更改。

配置文件按顺序读取，因此你可以通过适当命名你的自定义配置文件来控制配置指令的顺序。

DHCP 租约存储在文件 `/var/lib/misc/dnsmasq.<zone>.leases` 中。

当使用 PVE IPAM 插件时，您可以更新、创建和删除 DHCP 租约。
有关更多信息，请参阅
xref:pvesdn_ipam_plugin_pveipam[the PVE IPAM 插件] 的文档。目前不支持更改其他 IPAM 插件的 DHCP 租约。

[[pvesdn_setup_examples]]
示例
--------

本节提供了针对常见SDN用例的多个配置示例。其目的是提供实际的实施方案，提供额外的细节以加深对可用配置选项的理解。


[[pvesdn_setup_example_simple]]
简单区域示例
~~~~~~

简单区域网络创建了一个隔离的网络，供单个主机上的客人相互连接。

TIP: 如果所有客户都驻留在同一主机上，则宾客之间的连接是可能的，但无法在其他节点上达到。

* 创建一个名为`simple`的简单区域。
* 添加一个名为`vnet1`的虚拟网络。
* 创建一个带有网关的子网，并启用SNAT选项。
* 这会在节点上创建一个名为 `vnet1` 的网络桥接。将这个桥接分配给需要加入网络的客户端，并配置一个IP地址。

两个虚拟机中的网络接口配置可能如下，这允许它们通过10.0.1.0/24网络进行通信。

----
allow-hotplug ens19
iface ens19 inet static
	address 10.0.1.14/24
----

----
allow-hotplug ens19
iface ens19 inet static
    address 10.0.1.15/24
----


[[pvesdn_setup_example_nat]]
源NAT示例
~~~~~~

如果你想允许在简单网络区域内的访客进行外部连接，简单区域提供了一个源网络地址转换（SNAT）选项。

从上述配置xref:pvesdn_setup_example_simple开始，向VNet `vnet1`添加一个子网，设置一个网关IP，并启用SNAT选项。

----
子网：172.16.0.0/24
网关：172.16.0.1
源地址转换(SNAT)：已勾选
----

在客人中配置子网IP范围内的静态IP地址。

节点本身将使用网关IP '172.16.0.1' 加入此网络，并将作为位于子网范围内的访客的NAT网关功能。


[[pvesdn_setup_example_vlan]]
VLAN设置示例
~~~~~~~~

当不同节点上的虚拟机需要通过隔离的网络进行通信时，VLAN 区域允许使用 VLAN 标签进行网络级别的隔离。

创建一个名为`myvlanzone`的VLAN区域：

----
ID: myvlanzone
Bridge: vmbr0
----

创建一个名为`myvnet1`的VNet，其VLAN标签为10，并使用之前创建的`myvlanzone`。

----
ID: myvnet1
区域: myvlanzone
标签: 10
----

通过主SDN面板应用配置，在每个节点上本地创建VNet。

在节点node1上创建一个基于Debian的虚拟机（'vm1'），其虚拟网络接口连接到`myvnet1`。

为此虚拟机使用以下网络配置：

----
auto eth0
iface eth0 inet static
	address 10.0.3.100/24
----

在node2上创建第二台虚拟机（'vm2'），并在与vm1相同的虚拟网络`myvnet1`上配置一个虚拟网络接口。

为此虚拟机使用以下网络配置：

----
auto eth0
iface eth0 inet static
	address 10.0.3.101/24
----

在此之后，您应该能够使用那个网络在两个虚拟机之间进行ping操作。


[[pvesdn_setup_example_qinq]]
QinQ设置示例
~~~~~~~~


这个例子配置了两个QinQ区域，并且每个区域都加入了两个虚拟机，以此来展示额外一层的VLAN标签如何允许配置更多隔离的VLAN。

这种配置的典型用途是，托管服务提供商为客户提供一个隔离的网络以实现虚拟机之间的通信，但同时隔离了不同客户之间的虚拟机。

创建一个名为`qinqzone1`的QinQ区域，服务VLAN为20

----
ID: qinqzone1
Bridge: vmbr0
Service VLAN: 20
----

创建另一个名为`qinqzone2`的QinQ区域，其服务VLAN为30
----
ID：qinqzone2
桥接器：vmbr0
服务VLAN：30
----

在之前创建的`qinqzone1`区域上创建一个名为`myvnet1`的VNet，并设置VLAN-ID为100。

----
ID: qinqvnet1
Zone: qinqzone1
Tag: 100
----

在`qinqzone2`区域创建一个带有VLAN-ID 100的`myvnet2`。

----
ID: qinqvnet2
Zone: qinqzone2
Tag: 100
----

在主SDN网络接口面板上应用配置，在每个节点本地创建VNet。

创建四个基于Debian的虚拟机（vm1、vm2、vm3、vm4），并为vm1和vm2添加桥接`qinqvnet1`的网络接口，为vm3和vm4添加桥接`qinqvnet2`的网络接口。

在虚拟机内部，配置接口的IP地址，例如通过`/etc/network/interfaces`：

----
auto eth0
iface eth0 inet static
	address 10.0.3.101/24
----
// TODO: systemd-network example
将所有四个虚拟机的IP地址配置为从'10.0.3.101'到'10.0.3.104'的范围内。

现在你应该可以在虚拟机'vm1'和'vm2'之间，以及'vm3'和'vm4'之间进行ping通信。然而，任何一个'vm1'或'vm2'的虚拟机都不能ping通'vm3'或'vm4'，因为它们位于不同的区域且拥有不同的服务VLAN。


[[pvesdn_setup_example_vxlan]]
VXLAN设置示例
~~~~~~~~~

该示例假设一个有三个节点的集群，节点的IP地址分别是192.168.0.1、192.168.0.2和192.168.0.3。

创建一个名为`myvxlanzone`的VXLAN区域，并将所有节点的IP地址添加到对等地址列表中。使用默认的MTU 1450，或者相应地进行配置。

----
ID: myvxlanzone
对等方地址列表: 192.168.0.1,192.168.0.2,192.168.0.3
----

创建一个名为 `vxvnet1` 的VNet，使用之前创建的VXLAN区域 `myvxlanzone`。

----
ID: vxvnet1
Zone: myvxlanzone
Tag: 100000
----

在主SDN网络接口面板上应用配置，以在每个节点上本地创建VNet。

在node1上创建一个基于Debian的虚拟机（'vm1'），并配有一个位于`vxvnet1`上的虚拟网卡（vNIC）。

请为这个虚拟机使用以下网络配置（注意较低的MTU）。

----
auto eth0
iface eth0 inet static
	address 10.0.3.100/24
	mtu 1450
----

在node3上创建第二个虚拟机（'vm2'），并使其虚拟网卡位于与vm1相同的虚拟网络`vxvnet1`上。

为此虚拟机使用以下网络配置：

----
auto eth0
iface eth0 inet static
	address 10.0.3.101/24
	mtu 1450
----

那么，你应该能够在'vm1'和'vm2'之间进行ping通。


[[pvesdn_setup_example_evpn]]
EVPN设置示例
~~~~~~~~

这个例子假设了一个具有三个节点（node1, node2, node3）的集群，其IP地址分别为192.168.0.1, 192.168.0.2和192.168.0.3.

创建一个EVPN控制器，使用一个私有ASN号码，并将上述节点地址作为对等体。

----
ID: myevpnctl
ASN#: 65000
Peers: 192.168.0.1,192.168.0.2,192.168.0.3
----

创建一个名为`myevpnzone`的EVPN区域，分配之前创建的EVPN控制器，并定义'node1'和'node2'为出口节点。

----
ID: myevpnzone
VRF VXLAN标签: 10000
控制器: myevpnctl
MTU: 1450
VNet MAC地址: 32:F4:05:FE:6C:0A
退出节点: node1,node2
----

使用EVPN区域 `myevpnzone` 创建名为 `myvnet1` 的第一个虚拟网络（VNet）。

----
ID: myvnet1
Zone: myevpnzone
Tag: 11000
----

在`myvnet1`上创建一个子网：

----
子网：10.0.1.0/24
网关：10.0.1.1
----

创建名为 `myvnet2` 的第二个虚拟网络，使用相同的 EVPN 区域 `myevpnzone`。

----
ID: myvnet2
区域: myevpnzone
标签: 12000
----

在`myvnet2`上创建一个不同的子网；

----
子网：10.0.2.0/24
网关：10.0.2.1
----

从主SDN网络界面面板应用配置，在每个节点上本地创建虚拟网络并生成FRR配置。

在节点node1上创建一个基于Debian的虚拟机（'vm1'），其虚拟网络接口连接到`myvnet1`。

使用以下网络配置为 'vm1':

----
auto eth0
iface eth0 inet static
	address 10.0.1.100/24
	gateway 10.0.1.1
	mtu 1450
----

在节点node2上创建第二个虚拟机（'vm2'），并在另一个虚拟网络`myvnet2`上配置一个虚拟网络接口卡（vNIC）。

请使用以下网络配置为'vm2'：

----
auto eth0
iface eth0 inet static
	address 10.0.2.100/24
	gateway 10.0.2.1
	mtu 1450
----


现在你应该能够从vm1 ping到vm2，以及从vm2 ping到vm1。

如果你从非网关节点node3上的'vm2' ping一个外部IP，数据包将会发送到配置的'myvnet2' 网关，然后会被路由到出口节点（'node1'或者'node2'），并且从那里通过在node1或node2上配置的默认网关离开这些节点。

NOTE: 您需要在外部网关上为'10.0.1.0/24'和'10.0.2.0/24'网络添加反向路由到node1和node2，以便公网能够回复。

如果你配置了一个外部的BGP路由器，在这个例子中BGP-EVPN路由（10.0.1.0/24 和 10.0.2.0/24），将会被动态宣告。


[[pvesdn_notes]]
笔记
--

多个EVPN出口节点
~~~~~~~~~~

如果您有多个网关节点，应该禁用`rp_filter`（严格反向路径过滤）选项，因为数据包可能从一个节点到达但从另一个节点离开。

将以下内容添加到 `/etc/sysctl.conf`：

-----
net.ipv4.conf.default.rp_filter=0
net.ipv4.conf.all.rp_filter=0
-----

VXLAN IPSEC 加密
~~~~~~~~~~~~~~

要在VXLAN上添加IPSEC加密，这个例子展示了如何使用`strongswan`。

您需要为IPv4额外减少60字节，或者为IPv6减少80字节的'MTU'，以便处理加密。

所以，在默认的真实1500 MTU的情况下，你需要使用1370的MTU（1370 + 80（IPSEC）
+ 50 (VXLAN) == 1500).

在主机上安装strongswan。

----
apt install strongswan
----

将配置添加到 `/etc/ipsec.conf` 文件中。我们只需要加密来自 VXLAN UDP 端口 '4789' 的流量。

----
conn %default
    ike=aes256-sha1-modp1024!  # 最快的，但在现代硬件上相当安全的密码
    esp=aes256-sha1!
    leftfirewall=yes           # 使用Proxmox VE防火墙规则时这是必需的

conn output
    rightsubnet=%dynamic[udp/4789]
    right=%any
    type=transport
    authby=psk
    auto=route

conn input
    leftsubnet=%dynamic[udp/4789]
    type=transport
    authby=psk
    auto=route
----

使用以下方法生成一个预共享密钥：

----
openssl rand -base64 128
----

将密钥添加到`/etc/ipsec.secrets`文件中，使得文件内容如下所示：

----
: PSK <generatedbase64key>
----

将PSK（预共享密钥）和配置复制到参与VXLAN网络的所有节点。