PVE-开源虚拟化管理平台#

[TOC]

环境准备#

使用官方的iso镜像部署三个PVE节点
1. 部署1个Backup server
尽量使用==相同类型的cpu==

部署PVE节点#

Note

默认下一步
- CPU:共4个核心运行内存 8G

Warning

别忘记勾选虚拟化

Tip

每个虚拟机六张网卡，一张nat，五张桥接
每个节点5块硬盘
1. 一块硬盘装系统
2. 三块硬盘作为osd —> ceph集群
3. 一块硬盘备用

三块网卡给不同的MAC地址!

Note

拍一次快照

图形化安装#

📌 安装页面到底在配什么？

1
Proxmox 安装程序 → 「管理网络」页面
2
       │
3
       │ 你填的 IP、掩码、网关、DNS
4
       │
5
       ▼
6
  自动写入 /etc/network/interfaces → vmbr0 的配置
7
       │
8
       ▼
9
  安装完成后，这个 IP 就是 Web UI 的访问地址
10
===============================================
11
💡 这个页面本质上就是一个'图形化的网络配置向导'
12
✅️ PVE Web UI (pveproxy) → 监听 0.0.0.0:8006（所有网卡）

⭐节点规划#

g2-host1.pve.com — PVE 节点 + Ceph 节点

项目	配置
网络	nic0（NAT）：10.0.0.211（DHCP），网关 10.0.0.2 nic1（桥接）：10.2.1.101 — PVE 管理网络 nic2（桥接）：10.2.2.101 — PVE 集群网络 nic3（桥接）：10.2.3.101 — OSD Public nic4（桥接）：10.2.4.101 — OSD Cluster nic5（桥接）：10.2.5.101 — OVS 网桥 vmbr1
磁盘	sda：系统盘 sdb–sdd：Ceph OSD（共 3 块） sde：本地目录存储

g2-host2.pve.com — PVE 节点 + Ceph 节点

项目	配置
网络	nic0（NAT）：10.0.0.222（DHCP），网关 10.0.0.2 nic1（桥接）：10.2.1.102 — PVE 管理网络 nic2（桥接）：10.2.2.102 — PVE 集群网络 nic3（桥接）：10.2.3.102 — OSD Public nic4（桥接）：10.2.4.102 — OSD Cluster nic5（桥接）：10.2.5.102 — 额外网桥 vmbr1
磁盘	sda：系统盘 sdb–sdd：Ceph OSD（共 3 块） sde：本地 ZFS 存储

g2-host3.pve.com — PVE 节点 + Ceph 节点

项目	配置
网络	nic0（NAT）：10.0.0.233（DHCP），网关 10.0.0.2 nic1（桥接）：10.2.1.103 — PVE 管理网络 nic2（桥接）：10.2.2.103 — PVE 集群网络 nic3（桥接）：10.2.3.103 — OSD Public nic4（桥接）：10.2.4.103 — OSD Cluster nic5（桥接）：10.2.5.103 — OVS 网桥 vmbr1
磁盘	sda：系统盘 sdb–sdd：Ceph OSD（共 3 块） sde：本地 LVM_Thin 存储 ⚠️ sdf：本地 ZFS 存储

g2-pbs.pve.com — Proxmox Backup Server 节点

项目	配置
网络	nic0（NAT）：10.0.0.244（DHCP），网关 10.0.0.2 nic1（桥接）：10.2.1.104 — PVE 管理网络
磁盘	sda：系统盘 sdb：备份存储磁盘

gX-node.pve.com — 管理操作节点

项目	配置
网络	nic0（NAT）：10.0.0.210（DHCP），网关 10.0.0.2 nic1（桥接）：10.2.1.105 — PVE 管理网络
磁盘	nvme0n1：系统盘 + 数据盘
用途	浏览器访问 WebUI、配置 NFS/Samba 共享、上传镜像

1
Vir-02 --> '另一台Rocky虚拟机'
2
# 添加一张桥接网卡,和它处于同一网段
3

4
root@Vir-02:~# vim /etc/NetworkManager/system-connections/eth1.nmconnection
5
'10.2.1.105'
6
root@Vir-02:~# nmcli connection reload
7
root@Vir-02:~# nmcli con up eth1
8
Connection successfully activated
9
[root@Vir-02 ~]# ip a s eth1 | grep inet | head -1
10
    inet 10.2.1.105/24 brd 10.11.0.255 scope global noprefixroute eth1
11
root@Vir-02:~# ping 10.2.1.101
12
PING 10.2.1.101 (10.2.1.101) 56(84) bytes of data.
13
64 bytes from 10.2.1.101: icmp_seq=1 ttl=64 time=0.502 ms
14
64 bytes from 10.2.1.101: icmp_seq=2 ttl=64 time=0.303 ms
15
🌰 '远程登录管理'
16
root@Vir-02:~# ssh root@10.2.1.101
17
Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
18
permitted by applicable law.
19
root@pve:~#

实操#

1
1)备份软件源
2
root@pve:~# mkdir /sourcebak
3
root@pve:~# cp -p /etc/apt/sources.list.d/* /sourcebak
4

5
2)更改默认的软件源
6
=========================
7
# 修改文件默认没有vim命令
8
Debian 预装的 vim-tiny 为了兼容老式 vi，默认开启了一个“兼容模式”（compatible）
9
所以一些现代编辑器的习惯就不起作用了
10
📝执行:set nocompatible，关闭兼容模式
11
=========================
12
'我们改用cat进行修改'
13
root@pve:~# cat > /etc/apt/sources.list.d/debian.sources <<'EOF'
14
Types: deb
15
URIs: http://mirrors.aliyun.com/debian/
16
Suites: trixie trixie-updates
17
Components: main contrib non-free-firmware
18
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
19

20
Types: deb
21
URIs: http://mirrors.aliyun.com/debian-security/
22
Suites: trixie-security
23
Components: main contrib non-free-firmware
24
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
25
EOF
26

27
3)更换pve企业源
28
root@pve:~# rm -rf /etc/apt/sources.list.d/pve-enterprise.sources
29
root@pve:~# cat > /etc/apt/sources.list.d/proxmox.sources <<'EOF'
30
Types: deb
31
URIs: http://download.proxmox.com/debian/pve
32
Suites: trixie
33
Components: pve-no-subscription
34
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
35
EOF
36

37
4)更换ceph源
38
root@pve:~# cat > /etc/apt/sources.list.d/ceph.sources <<'EOF'
39
Types: deb
40
URIs: http://download.proxmox.com/debian/ceph-tentacle
41
Suites: trixie
42
Components: no-subscription
43
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
44
EOF
45

46
5)配置网络配置
47
root@pve:~# cat > /etc/network/interfaces <<'EOF'
48
auto lo
49
iface lo inet loopback
50

51
iface nic1 inet manual
52
# pve管理网络
53

54
auto nic0
55
# 物理网卡(NAT)-->用来上网
56
iface nic0 inet static
57
  address 10.0.0.101/24
58
  gateway 10.0.0.2
59

60
auto nic2
61
# pve集群网络
62
iface nic2 inet static
63
  address 10.2.2.101/24
64

65
auto nic3
66
# ceph集群公网
67
iface nic3 inet static
68
  address 10.2.3.101/24
69

70
auto nic4
71
# ceph集群内网
72
iface nic4 inet static
73
  address 10.2.4.101/24
74

75
auto nic5
76
# 备用桥接网卡
77
iface nic5 inet static
78
  address 10.2.5.101/24
79

80
auto vmbr0
81
# pve管理网络
82
# 物理网卡 nic1（作为 vmbr0 的桥接端口）
83
# 这里物理网卡是桥接的那张网卡
84
iface vmbr0 inet static
85
  address 10.2.1.101/24
86
  bridge-ports nic1
87
  bridge-stp off
88
  bridge-fd 0
89

90
source /etc/network/interfaces.d/*
91
EOF

1
💡 '语法要点：'
2
auto vmbr0
3
# pve管理网络
4
# 物理网卡 nic1（作为 vmbr0 的桥接端口）
5
# 这里物理网卡是桥接的那张网卡
6
iface vmbr0 inet static
7
  address 10.2.1.101/24
8
  bridge-ports nic1
9
  bridge-stp off
10
  bridge-fd 0

配置行	含义
`auto vmbr0`	开机自动启动这个 bridge
`iface vmbr0 inet static`	静态 IP（不是 DHCP）
`address 10.2.1.101/24`	IP 地址 + 子网掩码（/24）
`bridge-ports nic1`	把 nic1 插到这个 bridge 上
`bridge-stp off`	关闭生成树协议（单链路上不需要，省资源）
`bridge-fd 0`	转发延迟设为 0（立即转发，不等待）
没有 `gateway`	不上网，不需要网关！

📌 问题：vmbr0 到底是什么？它和物理网卡关系？

🧱 物理网卡 (eth0) vs Linux Bridge (vmbr)

🧱 vmbr0 到底是什么？
通俗类比：把物理网卡 eth0 想象成一根”网线”，vmbr0 就是这根网线另一头插的那个 ==虚拟交换机==

eth0 只负责收发数据帧，自己不拿 IP（你看 ip a 里 eth0 只有 MAC 地址，没有 inet）

vmbr0 是 Linux 内核创建的虚拟交换机，它拿 IP 地址，它才是通信的”身份”

bridge-ports eth0 的意思是：把 eth0 这根网线插到 vmbr0 这个交换机上

inet manual 的意思是：“这张网卡本身不拿 IP，它只是给上面的 bridge 当物理出口”
就像交换机的端口不需要 IP 一样，eth 作为物理口也不需要 IP，IP 配在 vmbr 上

📌 一句话总结：

eth 是物理网线，vmbr 是插网线的交换机，IP 配在交换机上，不配在网线上
⚠️ 注意：vmbr0 的 MAC 地址 = eth0 的 MAC 地址，因为它们是一对”交换机-上联口”

1
6)重启网络让配置生效
2
root@pve:~# systemctl restart networking
3
root@pve:~# cat /etc/resolv.conf
4
search localhost
5
nameserver 223.6.6.6
6
root@pve:~# ping -W2 -c2 www.baidu.com
7
PING www.a.shifen.com (180.101.49.44) 56(84) bytes of data.
8
64 bytes from 180.101.49.44: icmp_seq=1 ttl=128 time=24.8 ms
9
64 bytes from 180.101.49.44: icmp_seq=2 ttl=128 time=24.4 ms
10

11
--- www.a.shifen.com ping statistics ---
12
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
13
rtt min/avg/max/mdev = 24.384/24.603/24.823/0.219 ms
14

15
7)升级软件源 & 安装必要软件
16
root@pve:~# apt-get update
17
root@pve:~# apt-get install -y vim tree wget bash-completion lrzsz net-tools sysstat iotop iftop htop unzip netcat-openbsd nmap telnet bc psmisc apache2-utils dnsutils nethogs sshpass expect cowsay sl
18

19
8)PS1 变量
20
root@pve:~# cat >> ~/.bashrc <<EOF
21
# 我的PS1变量
22
PS1='\[\e[34;1m\]\u@\[\e[0m\]\[\e[32;1m\]\H\[\e[0m\]\[\e[31;1m\] \W\[\e[0m\]\\$ '
23
EOF
24
root@pve:~# source ~/.bashrc
25

26
9)娱乐时间⌚️
27
===============
28
在 Debian/Ubuntu 系统中，sl、cowsay、fortune 等娱乐性质的程序传统上被归类为 "games"，安装路径是 /usr/games/ 而不是常规的 /usr/bin/
29
而 root 用户的默认 $PATH 有时并不包含 /usr/games
30
✅ 永久解决方法
31
将 /usr/games 添加到 root 用户的 PATH 中：
32
===============
33
root@pve ~# echo 'export PATH=$PATH:/usr/games' >> ~/.bashrc
34
root@pve ~# source ~/.bashrc
35
root@pve ~# cowsay "Hello"
36
 _______
37
< Hello >
38
 -------
39
        \   ^__^
40
         \  (oo)\_______
41
            (__)\       )\/\
42
                ||----w |
43
                ||     ||
44
root@pve ~# rm -f /etc/update-motd.d/10-uname
45
root@pve ~# cat > /etc/update-motd.d/99-local << 'SCRIPT'
46
#!/bin/bash
47
cat << 'EOF'
48
          (@) * (@) * (@)
49
        : * (@) * (@) * .;
50
        (@) * (@) * (@) * (@)
51
        * ; * ; (@) * ; * :
52
         ;\ \ \ \| /  / /;
53
            \\ \ Y/ / /
54
             `_\ |/ _'        '
55
             / \\Y// \
56
            ( ,-}={-, )
57
             \_//((\_/
58
              //))(\
59
               (/  ))
60
                   (/
61
EOF
62
SCRIPT
63
root@pve ~# chmod +x /etc/update-motd.d/99-local
64
root@pve ~# > /etc/issue && > /etc/issue.net
65

66
10)其他优化
67
root@pve ~# cat >>/etc/ssh/sshd_config<<EOF
68
UseDNS no
69
# 相当于网络命令的-n选项，这个就是说不解析为主机名，直接成IP地址.
70
GSSAPIAuthentication no
71
# 关闭GSS认证.
72
EOF
73
root@pve ~# systemctl restart ssh.service
74

75
11)系统盘挂载
76
'UUID挂载'
77
root@host01 ~# blkid
78
/dev/mapper/pve-root: UUID="b2666a2a-a057-4de1-9aa6-cdb1211809a5"
79
/dev/mapper/pve-swap: UUID="aba324d1-3307-4d83-88e2-5e9698138e20"
80
root@host01 ~# vim /etc/fstab
81
UUID="b2666a2a-a057-4de1-9aa6-cdb1211809a5" / ext4 errors=remount-ro 0 1
82
UUID="aba324d1-3307-4d83-88e2-5e9698138e20" none swap sw 0 0

1
浏览器测试访问
2
https://10.11.0.111:8006
3
'👆是我们桥接这张网卡' <-- Rocky中的火狐浏览器可以正常访问
4
=============================
5
https://10.0.0.211:8006
6
'👆是我们NAT这张网卡' <-- Windows中的edge浏览器可以正常访问

backup#

1
'两块硬盘' --> 系统盘 & 备份存储磁盘
2
'两张网卡' --> 额外添加一张桥接
3
# 10.2.1.104
4
'主机名' --> g2-pbs.pve.com
5

6
'访问web UI'
7
删除网关,添加IP配置(NAT)
8

9
'替换源'
10
cat > /etc/apt/sources.list.d/debian.sources <<'EOF'
11
Types: deb
12
URIs: http://mirrors.aliyun.com/debian/
13
Suites: trixie trixie-updates
14
Components: main contrib non-free-firmware
15
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
16

17
Types: deb
18
URIs: http://mirrors.aliyun.com/debian-security/
19
Suites: trixie-security
20
Components: main contrib non-free-firmware
21
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
22
EOF
23

24
==========================
25

26
cat > /etc/apt/sources.list.d/pbs-enterprise.sources <<'EOF'
27
Types: deb
28
URIs: http://download.proxmox.com/debian/pbs
29
Suites: trixie
30
Components: pbs-no-subscription
31
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
32
EOF
33

34
==========================
35

36
apt-get update
37

38
apt-get install -y vim tree wget bash-completion lrzsz net-tools sysstat iotop iftop htop unzip netcat-openbsd nmap telnet bc psmisc apache2-utils dnsutils nethogs sshpass expect cowsay sl
39

40
cat >> ~/.bashrc <<EOF
41
# 我的PS1变量
42
PS1='\[\e[34;1m\]\u@\[\e[0m\]\[\e[32;1m\]\H\[\e[0m\]\[\e[31;1m\] \W\[\e[0m\]\\$ '
43
EOF
44

45
echo 'export PATH=$PATH:/usr/games' >> ~/.bashrc
46

47
source ~/.bashrc
48

49
cat > /etc/update-motd.d/99-local << 'SCRIPT'
50
#!/bin/bash
51
cat << 'EOF'
52
          (@) * (@) * (@)
53
        : * (@) * (@) * .;
54
        (@) * (@) * (@) * (@)
55
        * ; * ; (@) * ; * :
56
         ;\ \ \ \| /  / /;
57
            \\ \ Y/ / /
58
             `_\ |/ _'        '
59
             / \\Y// \
60
            ( ,-}={-, )
61
             \_//((\_/
62
              //))(\
63
               (/  ))
64
                   (/
65
EOF
66
SCRIPT
67

68
chmod +x /etc/update-motd.d/99-local
69

70
> /etc/issue && > /etc/issue.net
71

72
cat >>/etc/ssh/sshd_config<<EOF
73
UseDNS no
74
# 相当于网络命令的-n选项，这个就是说不解析为主机名，直接成IP地址.
75
GSSAPIAuthentication no
76
# 关闭GSS认证.
77
EOF
78

79
systemctl restart ssh.service

Note

关机拍快照

加入集群#

加入集群

Note

集群状态 —> 断开连接 —> 另外两台重新登录

任务二#

在 PVE 集群上部署 Ceph Tentacle，创建 OSD 并配置 CephFS 和 RBD 共享存储

在 WebUI 中点击 Datacenter → g2-host1 → Ceph，进行安装

在 WebUI 中点击 Datacenter → g2-host2 → Ceph，进行安装

在 WebUI 中点击 Datacenter → g2-host3 → Ceph，进行安装

等待安装完成

无订阅

1
'另外两台'同样也是需要添加Ceph集群
2
# 只需要安装即可! 配置已经在Host1中配置选择过了 公网 & 私网

现在的状态是”不健康”❌️ —> 先不管它

Note

添加mon & mgr

创建mon

点击 g2-host1 → Ceph → Monitor
点击 Monitor → Create
重复操作，分别在 host2、host3 上创建 Monitor
等待所有 Monitor 启动完成

创建mgr

点击 g2-host1 → Ceph → Monitor
点击 Manager → Create
在 host2、host3 也创建一个（用于高可用）

把另外两台都添加上去!

Note

添加 OSD 硬盘

在每个节点上创建 3 个 OSD（sdb、sdc、sdd），共 9 个

Tip

这次再添加完 mon & mgr & OSD磁盘就行健康了💚✅️

Note

创建RBD池 & CephFS

创建完之后, 就可以在==左上角==创建cephFS了

查看器群状态健康✅️

任务三#

任务四#

在三台 PVE 节点上分别使用 sde 磁盘创建不同类型的本地存储

任务五#

在管理操作节点（node）上部署 NFS 和 Samba 服务，并将共享目录添加到 PVE 集群

1
1)nfs下载安装
2
[root@node-200 ~]# dnf -y install nfs-utils
3
[root@node-200 ~]# mkdir -p /srv/nfs/share
4
[root@node-200 ~]# echo '/srv/nfs/share  10.11.0.0/24(rw,sync,no_subtree_check,no_root_squash)' >> /etc/exports
5
[root@node-200 ~]# systemctl enable --now nfs-server
6
Created symlink '/etc/systemd/system/multi-user.target.wants/nfs-server.service' → '/usr/lib/systemd/system/nfs-server.service'
7
[root@node-200 ~]# showmount -e 10.11.0.128
8
Export list for 10.11.0.128:
9
/srv/nfs/share 10.11.0.0/24

node节点接着安装samba

1
'下载samb'
2
[root@node-200 ~]# yum -y install samba
3
[root@node-200 ~]# mkdir -p /srv/samba/share
4
[root@node-200 ~]# groupadd -g 888 smbuser
5
[root@node-200 ~]# useradd -g 888 -u 888 smbuser
6
[root@node-200 ~]# pdbedit -a smbuser
7
New password:
8
Retype new password:
9
[root@node-200 ~]# chown smbuser:smbuser /srv/samba/share/
10
[root@node-200 ~]# cat >> /etc/samba/smb.conf <<'EOF'
11
[samba-share]
12
    path = /srv/samba/share
13
    write list = smbuser
14
    valid users = smbuser
15
EOF
16
[root@node-200 ~]# getenforce
17
Disabled
18
[root@node-200 ~]# systemctl is-active firewalld.service
19
inactive
20
[root@node-200 ~]# systemctl enable --now smb nmb

任务六#

在三台 PVE 节点上使用 nic5 创建 Open vSwitch 网桥 vmbr1

1
'安装 Open vSwitch'
2
root@host01 ~# apt -y install openvswitch-switch
3
root@host02 ~# apt -y install openvswitch-switch
4
root@host03 ~# apt -y install openvswitch-switch

Note

最后别忘记了应用配置

Note

把原来nic5里面的IP地址可以清除掉!

三台都清理掉

Warning

关机拍快照
- 先启动node & backup
- 在启动host

任务7#

Note

这个子网最后并没有用到 —> 后面我们用的==静态的==(非DHCP) —> 手动指定172.17.2.xxx

任务八#

1
✅️ 上传两个镜像到node节点的根目录下/root
2
# 用Xshell上传
3

4
[root@node-200 ~]# ls /root/ | grep Rocky
5
Rocky-10.2-x86_64-minimal.iso
6
Rocky-10-GenericCloud-Base.latest.x86_64.qcow2

Note

上传至 —> CephFS存储

在一个节点(hots1)上传后, 别的节点在cephfs也可以看到!

上传完毕后, 等一会

任务九#

1
'node节点操作'
2
[root@node-200 ~]# dnf -y install guestfs-tools
3
[root@node-200 ~]# dnf -y install qemu-kvm libvirt virt-install virt-viewer
4
[root@node-200 ~]# for drv in qemu network nodedev nwfilter secret storage interface; do \
5
    systemctl enable --now virt${drv}d.socket; \
6
done
7
[root@node-200 ~]# systemctl daemon-reload
8
[root@node-200 ~]# for drv in qemu network nodedev nwfilter secret storage interface; do \
9
    systemctl enable --now virt${drv}d.socket; \
10
done
11
[root@node-200 ~]# systemctl list-units --type=socket | grep virt
12
  virtinterfaced.socket           loaded active listening libvirt
13
  virtnetworkd.socket             loaded active listening libvirt
14
  virtnodedevd.socket             loaded active listening libvirt
15
  virtnwfilterd.socket            loaded active listening libvirt
16
  virtqemud.socket                loaded active listening libvirt
17
  virtsecretd.socket              loaded active listening libvirt
18
  virtstoraged.socket             loaded active listening libvirt
19
[root@node-200 ~]# guestfish -i --network -a /root/Rocky-10-GenericCloud-Base.latest.x86_64.qcow2
20
⚠️ 我的镜像在/root目录下
21
[root@node-200 ~]# ls -lhd /root
22
dr-xr-x---. 15 root root 4.0K Jun  6 10:44 /root
23
✅️ 它的这个目录/root权限有点特殊,我们移动到别的地方!
24
[root@node-200 ~]# cp /root/Rocky-10-GenericCloud-Base.latest.x86_64.qcow2 /var/lib/libvirt/images/
25
[root@node-200 ~]# chown root:qemu /var/lib/libvirt/images/Rocky-10-GenericCloud-Base.latest.x86_64.qcow2
26
[root@node-200 ~]# chmod 644 /var/lib/libvirt/images/Rocky-10-GenericCloud-Base.latest.x86_64.qcow2
27
[root@node-200 ~]# guestfish -i --network -a /var/lib/libvirt/images/Rocky-10-GenericCloud-Base.latest.x86_64.qcow2
28
Welcome to guestfish
29
Type: ‘help’ for help on commands
30
      ‘man’ to read the manual
31
      ‘quit’ to quit the shell
32

33
Operating system: Rocky Linux 10.2 (Red Quartz)
34
/dev/sda4 mounted on /
35
/dev/sda3 mounted on /boot
36
/dev/sda2 mounted on /boot/efi
37

38
><fs> command "yum -y install httpd"
39
...........
40
Complete!
41

42
><fs> touch /var/www/html/index.html
43
><fs> write /var/www/html/index.html "rocky-index"
44
><fs> cat /var/www/html/index.html
45
rocky-index
46
><fs> command "systemctl enable httpd"
47

48
><fs> command "systemctl is-enabled httpd"
49
enabled
50
><fs> selinux-relabel /etc/selinux/targeted/contexts/files/file_contexts /
51
><fs> exit

Note

把这个 qcow2镜像拷贝出来
- 拷贝到桌面 —> 添加上去
  - 这个镜像里面预装了 ==httpd服务==
  - ⚠️ 一定不要上传错误

任务十#

使用 Rocky Linux 10 ISO 安装虚拟机 vm1，安装 qemu-guest-agent 后转换为 PVE 模板

让虚拟机 CPU 尽量匹配宿主机
将 “类型” 改为：
- kvm64（最推荐！通用、安全、兼容性强，自动适配宿主机能力）

场景	CPU 类型
宿主机真实 CPU	AMD Ryzen 5 5600H

内存、网络都默认即可

1
'host1节点'
2
1)查看配置文件信息
3
root@host01 ~# cat /etc/pve/qemu-server/100.conf
4
✅️ 这里面装的是配置文件
5
boot: order=scsi0;ide2;net0
6
cores: 2
7
cpu: kvm64
8

9
2)过滤CPU信息
10
root@host01 ~# cat /etc/pve/qemu-server/100.conf | grep -E '^cpu:'
11
cpu: kvm64
12

13
3)启动虚拟机
14
root@host01 ~# qm start 100
15
start failed: QEMU exited with code 1
16
❌️ '最后依旧是起不来'

既然 PVE 的原生 cpu: 参数走不通，我们必须绕过 PVE 的解析器

直接使用底层的 args: 参数向 QEMU 传递完整的 CPU 定义

🎯 终极解决方案：纯 `args` 透传法#

1
✅ 步骤 1：清理配置文件中的 cpu 和 args
2
root@host01 ~# vim /etc/pve/qemu-server/100.conf
3
  删除 所有的 cpu: ... 行
4
  删除 所有的 args: ... 行
5

6
✅ 步骤 2：添加精准的 QEMU 底层参数
7
'在配置文件中添加以下唯一一行 args'
8
# 整行复制，不要换行
9
args: -cpu host,+invtsc,-pcid,-cmp-legacy,-perfctr-core,-amd-stibp,-xsaveerptr
10

11
✅ 步骤 3：重启虚拟机
12
qm stop 100
13
qm start 100
14
kvm: warning: ...xxx
15
kvm: warning: ...xxx
16
'警告⚠️信息不用管'

1
[C:\~]$ ssh root@172.31.31.159
2
'可以从Xshell中成功登录进来!'
3
Connecting to 172.31.31.159:22...
4
Connection established.
5
=======================
6
Last login: Sat Jun  6 13:46:18 2026
7

8
1)安装并启动
9
[root@jiuzhao ~]# dnf -y install qemu-guest-agent
10
[root@jiuzhao ~]# systemctl enable --now qemu-guest-agent
11
'卡住了!'
12
^C
13
[root@jiuzhao ~]# reboot
14
'重启一下!'

Note

手动启动后,再重启一下虚拟机

关机 —> 更多 —> 装换模版 —> 是

任务十一#

Note

右上更多 —> 克隆

Note

必须关机做快照

快照名称必须得是英文

Important

开机 —> 删除用户

Important

关机 —> 恢复快照 —> 验证用户

任务十二#

Important

这次是在host02节点上创建虚拟机

内存 & 网络都==默认==就行

修改硬件#

Important

依旧是Cpu架构选的有问题!
- ==host2==

1
root@host02 ~# cd /etc/pve/qemu-server/
2
root@host02 qemu-server# ls
3
102.conf
4
root@host02 qemu-server# cd
5
root@host02 ~# vim /etc/pve/qemu-server/102.conf
6
'把CPU行删除了 --> 行尾加上这个'
7
args: -cpu host,+invtsc,-pcid,-cmp-legacy,-perfctr-core,-amd-stibp,-xsaveerptr
8
root@host02 ~# qm stop 102
9
root@host02 ~# qm start 102
10
generating cloud-init ISO
11
✅️ 现在就能够启动起来了

Note

它和上面 vm1-clone 在同一网段!
- 启动 vm1-clone

任务十三#

在 PVE 中下载 LXC 容器模板和 OCI 标准容器镜像

1
引用： docker.m.daocloud.io/busybox
2
标签： latest
3
文件名： busybox_latest

任务十四#

基于 LXC 模板创建两个容器 c1 和 c2，部署在不同主机，使用 OVS 网桥 vmbr1，VLAN Tag = 200

Cpu & 内存都默认下一步

静态IP & vlan#

1
========================================
2
'下面这两个都是vmbr0🌐' <-- Rocky Linux 10
3
❗ 没有Vlan
4
========================================
5
1)vm1-clone
6
[root@jiuzhao ~]# nmcli con modify ens18 ipv4.method manual ipv4.addresses 172.17.2.101/24
7
'没法补全只能手打' ✅️ 注意后面/24 <-- 子网掩码
8
⚠️ method √ ⚠️ methon × ⚠️
9
[root@jiuzhao ~]# nmcli con up ens18
10
Connection successfully activated
11

12
2)vm2
13
[root@vm2 ~]# nmcli con show
14
NAME                UUID       TYPE      DEVICE
15
Wired connection 1  caa7d4xxx  ethernet  ens18
16
lo                  ad4c71xxx  loopback  lo
17
⚠️ 'Wired connection 1' <-- 单引号括起来
18
[root@vm2 ~]# nmcli con modify 'Wired connection 1' ipv4.method manual ipv4.address 172.17.2.102/24
19
[root@vm2 ~]# nmcli con up 'Wired connection 1'
20
Connection successfully activated
21
[root@vm2 ~]# ping -W2 -c2 172.17.2.101
22
PING 172.17.2.101 (172.17.2.101) 56(84) bytes of data.
23
64 bytes from 172.17.2.101: icmp_seq=1 ttl=64 time=1.09 ms
24
64 bytes from 172.17.2.101: icmp_seq=2 ttl=64 time=0.640 ms
25

26
--- 172.17.2.101 ping statistics ---
27
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
28
rtt min/avg/max/mdev = 0.640/0.862/1.085/0.222 ms
29
'✅️ 可以成功ping通'

1
========================================
2
'下面两个容器都是vmbr1🌐' <-- Alpin-3.23
3
❗ Vlan200 ❗
4
========================================
5
3)修改c1网络(静态) --> 172.17.2.103
6
✅️ c1创建在host1中, 'c2创建在host2中'

1
4)创建c2的同时'指定Vlan200'
2
⚠️ 依旧是Alpine镜像

alpin —> 磁盘(默认下一步) —> … —> ==网络==

DNS —> 确认

👆 默认下一步!

1
c2:~# ip a
2
1: lo: xxx
3
    inet 127.0.0.1/8 scope host lo
4
2: eth0@if35: xxx
5
    link/ether bc:24:11:9c:c7:ce brd ff:ff:ff:ff:ff:ff
6
    inet 172.17.2.104/24 scope global eth0
7
=========================
8
①测试和vm1-clone联通性 ❌️
9
c2:~# ping -W2 -c2 172.17.2.101
10
PING 172.17.2.101 (172.17.2.101): 56 data bytes
11

12
--- 172.17.2.101 ping statistics ---
13
2 packets transmitted, 0 packets received, 100% packet loss ❌️
14
=========================
15
②测试和c1的联通性 ✅️
16
c2:~# ping -W2 -c2 172.17.2.103
17
PING 172.17.2.103 (172.17.2.103): 56 data bytes
18
64 bytes from 172.17.2.103: seq=0 ttl=64 time=4.449 ms
19
64 bytes from 172.17.2.103: seq=1 ttl=64 time=0.373 ms
20

21
--- 172.17.2.103 ping statistics ---
22
2 packets transmitted, 2 packets received, 0% packet loss ✅️
23
round-trip min/avg/max = 0.373/2.411/4.449 ms

任务十五#

基于 OCI 容器镜像创建 c3 和 c4，使用 VXLAN 网络（VNI 100），部署在不同节点

等一会就行了

1
========================================
2
'下面两个容器都是mynet🌐' <-- busybox
3
⚠️ Vlan100 ⚠️ c3 & c4
4
========================================
5
root@host01 ~# ip -d link show | grep vxlan
6
100: vxlan_myvnet: xxx
7
  vxlan id 100 srcport 0 0 dstport 4789 ttl auto ageing
8

9
5)c3创建
10
# 172.17.2.105
11
✅️ 我们这次在host2创建 --> C3
12
busybox --> 172.17.2.105/24(mynet)'无需vlan已经设置过了'

Note

⚠️ 控制台由 console —> shell

1
~ # ip a
2
1: lo: xxx
3
    inet 127.0.0.1/8 scope host lo
4
2: eth0@if44: xxx
5
    link/ether bc:24:11:af:fd:83 brd ff:ff:ff:ff:ff:ff
6
    inet 172.17.2.105/24 brd 172.17.2.255 scope global eth0
7
===================
8
~ # ping -W2 -c2 172.17.2.1
9
PING 172.17.2.1 (172.17.2.1): 56 data bytes
10

11
--- 172.17.2.1 ping statistics ---
12
2 packets transmitted, 0 packets received, 100% packet loss
13
===================
14
~ # ping -W2 -c2 172.17.2.3
15
PING 172.17.2.3 (172.17.2.3): 56 data bytes
16

17
--- 172.17.2.3 ping statistics ---
18
2 packets transmitted, 0 packets received, 100% packet loss

1
6)'c4创建'
2
# 172.17.2.106
3
✅️ 我们这次在host3创建 --> C4
4
busybox --> 172.17.2.106/24(mynet)'无需vlan已经设置过了'

Note

⚠️ 控制台由 console —> shell

1
~ # ip a
2
1: lo: xxx
3
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4
    inet 127.0.0.1/8 scope host lo
5
2: eth0@if17: xxx
6
    link/ether bc:24:11:c7:f4:1e brd ff:ff:ff:ff:ff:ff
7
    inet 172.17.2.106/24 brd 172.17.2.255 scope global eth0
8
===================
9
~ # ping -W2 -c3 172.17.2.101
10
PING 172.17.2.101 (172.17.2.101): 56 data bytes
11

12
--- 172.17.2.101 ping statistics ---
13
3 packets transmitted, 0 packets received, 100% packet loss
14
===================
15
~ # ping -W2 -c3 172.17.2.103
16
PING 172.17.2.103 (172.17.2.103): 56 data bytes
17

18
--- 172.17.2.103 ping statistics ---
19
3 packets transmitted, 0 packets received, 100% packet loss
20
===================
21
~ # ping -W2 -c3 172.17.2.105
22
PING 172.17.2.105 (172.17.2.105): 56 data bytes
23
64 bytes from 172.17.2.105: seq=0 ttl=64 time=0.522 ms
24
64 bytes from 172.17.2.105: seq=1 ttl=64 time=0.431 ms
25
64 bytes from 172.17.2.105: seq=2 ttl=64 time=0.307 ms
26

27
--- 172.17.2.105 ping statistics ---
28
3 packets transmitted, 3 packets received, 0% packet loss
29
round-trip min/avg/max = 0.307/0.420/0.522 ms

任务十六#

配置 PVE 安全组，控制 vm1 的端口访问（允许 HTTP/SSH，拒绝其他）

Tip

vm2(qcow2云镜像) —> 里面有httpd服务

那么这些防火墙的规则就是最终要在vm2上面生效

上面的实验我们已经把vm1-clone和vm2放在了同一个网段(172.17.2.xxx/24)
为了我用Xshell连接方便,我们给==vm1-clone==再添加一张网卡(桥接)
我们在vm1里面验证防火墙是否生效

1
[C:\~]$ ssh root@172.31.31.91
2

3
Connecting to 172.31.31.91:22...
4
Connection established.
5
[root@jiuzhao ~]# hostname -I
6
172.17.2.101 172.31.31.91
7
'两个IP地址!'
8
===================
9
[root@jiuzhao ~]# ping -W2 -c3 172.17.2.102
10
PING 172.17.2.102 (172.17.2.102) 56(84) 字节的数据。
11
64 字节，来自 172.17.2.102: icmp_seq=1 ttl=64 时间=5.16 毫秒
12
64 字节，来自 172.17.2.102: icmp_seq=2 ttl=64 时间=0.688 毫秒
13
64 字节，来自 172.17.2.102: icmp_seq=3 ttl=64 时间=0.598 毫秒
14

15
--- 172.17.2.102 ping 统计 ---
16
已发送 3 个包， 已接收 3 个包, 0% packet loss, time 2060ms
17
rtt min/avg/max/mdev = 0.598/2.147/5.155/2.127 ms
18
===================
19
[root@jiuzhao ~]# ping -W2 -c3 172.17.2.104
20
PING 172.17.2.104 (172.17.2.104) 56(84) 字节的数据。
21
来自 172.17.2.101 icmp_seq=1 目标主机不可达
22
来自 172.17.2.101 icmp_seq=2 目标主机不可达
23
来自 172.17.2.101 icmp_seq=3 目标主机不可达
24

25
--- 172.17.2.104 ping 统计 ---
26
已发送 3 个包， 已接收 0 个包, +3 错误, 100% packet loss, time 2063ms
27
pipe 3
28
===================
29
[root@jiuzhao ~]# ping -W2 -c3 172.17.2.106
30
PING 172.17.2.106 (172.17.2.106) 56(84) 字节的数据。
31
来自 172.17.2.101 icmp_seq=1 目标主机不可达
32
来自 172.17.2.101 icmp_seq=2 目标主机不可达
33
来自 172.17.2.101 icmp_seq=3 目标主机不可达
34

35
--- 172.17.2.106 ping 统计 ---
36
已发送 3 个包， 已接收 0 个包, +3 错误, 100% packet loss, time 2082ms
37
===================
38
[root@jiuzhao ~]# ssh root@172.17.2.102
39
root@172.17.2.102: Permission denied ❌️
40
[root@jiuzhao ~]# ssh-keygen
41
[root@jiuzhao ~]# ssh-copy-id root@172.17.2.102
42
'因为这个vm2云镜像默认禁止密码登录'
43
# 所以我们没有办法通过这种方式拷贝公钥
44
✅️ 手动查看公钥
45
[root@jiuzhao ~]# cat /root/.ssh/id_ed25519.pub
46
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIEUfzvfEr7ANkqmxNMQnQzjw3stC6WC40B4ubOxRc6Fj 'root@jiuzhao'
47
⚠️ 后面的 'root@..' 不复制
48
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIEUfzvfEr7ANkqmxNMQnQzjw3stC6WC40B4ubOxRc6Fj
49
✅️ 只能手动在vm2中添加公钥

Note

添加完成之后重启一下虚拟机

1
[root@jiuzhao ~]# ssh root@172.17.2.102
2
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
3
@    WARNING: REMOTE HOST IDENTIFICATIO
4
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
5
[root@jiuzhao ~]# > /root/.ssh/known_hosts
6
'再次尝试登录'
7
[root@jiuzhao ~]# ssh root@172.17.2.102
8
Web console: https://vm2:9090/
9

10
Last login: Sat Jun  6 11:30:07 2026
11
[root@vm2 ~]# hostname -I
12
172.17.2.102
13
[root@vm2 ~]# curl localhost
14
rocky-index
15
✅️ 里面有httpd服务
16
[root@vm2 ~]# exit
17
'ssh退出vm2后, 依旧可以通过IP访问服务'
18
[root@jiuzhao ~]# curl 172.17.2.102
19
rocky-index
20
✅️ 此时'数据中心'防火墙没有生效

创建安全群组#

1
root@host01 ~# systemctl stop pve-firewall
2
root@host02 ~# systemctl stop pve-firewall
3
root@host03 ~# systemctl stop pve-firewall

Note

我这里只要把数据中心的防火墙开启, 我的web页面就连不上了! Xshell也连不上了!

所以先手动把它们的防火墙关了

我们这里先默认拒绝所有

目的IP 172.17.2.102

启动数据中心的防火墙

插入安全组 —> vm2

启动vm2的防火墙

1
root@host02 ~# systemctl start pve-firewall
2
===================
3
[root@jiuzhao ~]# curl 172.17.2.102
4
curl: (7) Failed to connect to 172.17.2.102 port 80
5
===================
6
[root@jiuzhao ~]# ping -W2 -c2 172.17.2.102
7
PING 172.17.2.102 (172.17.2.102) 56(84) 字节的数据。
8

9
--- 172.17.2.102 ping 统计 ---
10
已发送 2 个包， 已接收 0 个包, 100% packet loss, time 1007ms
11
===================
12
root@host02 ~# systemctl stop pve-firewall

把80和22端口添加进去!

1
root@host02 ~# systemctl start pve-firewall
2
'需要手动重启一下ssh服务'
3
===================
4
[root@jiuzhao ~]# ssh root@172.17.2.102
5
Web console: https://vm2:9090/
6

7
Last login: Sun Jun  7 03:16:38 2026 from 172.17.2.101
8
[root@vm2 ~]# exit
9
logout
10
Connection to 172.17.2.102 closed.
11
===================
12
[root@jiuzhao ~]# curl 172.17.2.102
13
rocky-index
14
===================
15
[root@jiuzhao ~]# ping -W2 -c2 172.17.2.102
16
PING 172.17.2.102 (172.17.2.102) 56(84) 字节的数据。
17

18
--- 172.17.2.102 ping 统计 ---
19
已发送 2 个包， 已接收 0 个包, 100% packet loss, time 1001ms
20
===================
21
root@host02 ~# systemctl stop pve-firewall

Note

ping不通 ---> ICMP协议

1
root@host02 ~# systemctl start pve-firewall
2
===================
3
[root@jiuzhao ~]# ping -W2 -c2 172.17.2.102
4
PING 172.17.2.102 (172.17.2.102) 56(84) 字节的数据。
5
64 字节，来自 172.17.2.102: icmp_seq=1 ttl=64 时间=1.41 毫秒
6
64 字节，来自 172.17.2.102: icmp_seq=2 ttl=64 时间=0.587 毫秒
7

8
--- 172.17.2.102 ping 统计 ---
9
已发送 2 个包， 已接收 2 个包, 0% packet loss, time 1002ms
10
rtt min/avg/max/mdev = 0.587/0.998/1.410/0.411 ms
11
✅️ 现在就能ping通了!
12
===================
13
root@host02 ~# systemctl stop pve-firewall

任务十七#

迁移vm2 —> host3中

我们得 ==在线迁移==(热迁移)

Note

‘TASK ERROR: migration problems’ ❌️ 第一次迁移失败,因为CPU标志会阻止热迁移!

那我们关机 —> 试试冷迁移

我们开机试一试

Note

我们==新建==C7容器 **热迁移 **

✅️ 新建的目的是为了有共享存储

从host1 —> host3
- 在线迁移

Important

rbd 共享存储池

启动C2 <— host2

Alpine vmbr1 vlan200

172.17.2.104/24

1
c7:~# ip a
2
1: lo: xxx
3
    inet 127.0.0.1/8 scope host lo
4
2: eth0@if19: xxx
5
    link/ether bc:24:11:7f:02:60 brd
6
    inet 172.17.2.107/24 scope global eth0
7
===================
8
c7:~# ping -W2 -c2 172.17.2.104
9
PING 172.17.2.104 (172.17.2.104): 56 data bytes
10
64 bytes from 172.17.2.104: seq=0 ttl=64 time=2.678 ms
11
64 bytes from 172.17.2.104: seq=1 ttl=64 time=0.306 ms
12

13
--- 172.17.2.104 ping statistics ---
14
2 packets transmitted, 2 packets received, 0% packet loss
15
round-trip min/avg/max = 0.306/1.492/2.678 ms

1
c7:~# ip a
2
2: eth0@if19: xxx
3
    link/ether bc:24:11:7f:02:60 brd
4
    inet 172.17.2.107/24
5
===================
6
c7:~# ping -W2 -c2 172.17.2.104
7
PING 172.17.2.104 (172.17.2.104): 56 data bytes
8
64 bytes from 172.17.2.104: seq=0 ttl=64 time=2.678 ms
9
✅️ 迁移后依旧可以ping通

任务十八#

将容器 c7 配置为 HA 模式，模拟节点故障测试自动恢复

手动==暂停(关机)==host3节点

任务十九#

在 PVE 集群中配置存储复制，将虚拟机/容器存储定期复制到目标节点

Note

只有ZFS才可以复制!
- 在 hsots3 添加一块磁盘

Tip

重启生效

Note

创建zfs存储（此zfs的命名要跟移动容器所在的zfs的命名一样）

我自己做的时候, 添加错了 —> 名字一样才行!
- 有的用的是后面作业的文档📄

把c2 —> 从host2 复制到 hosts3

启动c2容器

过三分钟 —> 复制到host03

Tip

过一会就有信息了!

任务二十#

创建 PVE 到 PBS 的备份任务，执行备份和恢复测试

音乐

音乐

PVE-开源虚拟化管理平台#

环境准备#

部署PVE节点#

图形化安装#

⭐节点规划#

实操#

backup#

加入集群#

任务二#

任务三#

任务四#

任务五#

任务六#

任务7#

任务八#

任务九#

任务十#

🎯 终极解决方案：纯 `args` 透传法#

任务十一#

任务十二#

修改硬件#

任务十三#

任务十四#

静态IP & vlan#

任务十五#

任务十六#

创建安全群组#

任务十七#

任务十八#

任务十九#

任务二十#

文章分享

文章目录

音乐

音乐

PVE开源虚拟化管理平台

PVE-开源虚拟化管理平台#

环境准备#

部署PVE节点#

图形化安装#

⭐节点规划#

实操#

backup#

加入集群#

任务二#

任务三#

任务四#

任务五#

任务六#

任务7#

任务八#

任务九#

任务十#

🎯 终极解决方案：纯 args 透传法#

任务十一#

任务十二#

修改硬件#

任务十三#

任务十四#

静态IP & vlan#

任务十五#

任务十六#

创建安全群组#

任务十七#

任务十八#

任务十九#

任务二十#

文章分享

文章目录

🎯 终极解决方案：纯 `args` 透传法#