往Gen8上加了一块 PCIe 转 NVMe 转接卡，装上了固态硬盘打算做系统，但是Gen8是不支持UEFI引导，BIOS也没有nvme驱动，隧折腾~
　至于为什么不把PVE装到其他地方，把虚拟机放在NVME里面，是因为我打算把整个SATA控制器直通给虚拟机管理，如果PVE装在SATA上就没办法直通控制器了

前言

面临的挑战：

尝试方案：

第一阶段：安装前的准备

• PCIe 转 NVMe 转接卡 + NVMe SSD
• U盘
• PVE 安装镜像
• Diskgenius软件：格式化U盘设置MBR，标记主分区
• FirPE（非必要，下载BOOTICE也行）：这里面有很多工具，包括BOOTICE（设置主引导记录），模拟BIOS引导的环境，还能制作PE
• grub4dos0.4.6a压缩包

第二阶段：将 PVE 安装到 NVMe

1. 虽然 BIOS 不认 NVMe，但 PVE 的安装程序（基于 Debian）内核是可以认出的
   得益于iLO可以直接把PVE镜像挂在到Gen8上，然后开始安装
2. 我选择用Terminal UI 安装 （不知道为啥iLO Console图形交互会很卡）
   

3.在选择目标磁盘（Target Harddisk）时是可以识别出 NVMe SSD的
SSD只有512G所以我打算

root分配 150G
data分配 250G
Free冗余 50G
swap分配 剩下的零头

4.正常配置 IP、主机名，开始安装
我尝试了很多次，Gen8每次安装PVE都一定会中途出现报错，但不影响最后安装
询问过AI和查阅相关资料后，判断是虚拟化的问题，目前对之后的使用好像也没影响（无视）

5.安装完重启后，机器进不去系统这是正常的，因为 BIOS 找不到引导记录

第三阶段：制作引导U盘

我们需要在内置优盘里做一个向导，告诉 CPU 去哪里找 NVMe
引导方式参考：浅谈几种常见的引导方式

方法 A：使用 Clover 镜像

原因是没有显卡作为输出设备，详细原文都有写，这里不再重复赘述。
我服务器不打算上显卡，隧放弃A方案

方法 B：配置 GRUB（grub4dos）

制作引导U盘

1. 用Diskgenius格式化U盘，设置MBR，并指定主分区
2. 使用FirPE里面的BOOTICE
   
3. 设置主引导记录
   
4. 从grub4dos0.4.6a压缩包里拷贝grldr和menu.lst两个文件到U盘里面
   grldr在/grub4dos-0.4.6a根目录里面
   menu.lst在/grub4dos-0.4.6a/sample文件夹里面
5. 从PVE的安装盘里面把/boot 目录复制到 U盘里面
   至于怎么搞，安装虚拟机，或者把nvme拔下来用其他电脑提取都行
   
   PVE更新了需要手动从新复制一份到U盘，或者将U盘挂载到/boot上

6. 编辑menu.lst
   设置短一点的timeout时间
   并将下面内容复制到第一个title的前一行，其他项目可以删除可以保留
   

   根据 /boot 下面的文件修改对应的bvmlinuz和initrd版本

   title Proxmox VE (Gen8 NVMe Boot Bridge)
    # 1. 在/boot 中寻找内核文件    
    # 根据 /boot 下面的文件设置对应的bvmlinuz版本
    find --set-root /boot/vmlinuz-6.xx.xx-1-pve
   
    # 2. 加载内核本体 intel_iommu=on,relax_rmrr iommu=pt 
    # 参数 intel_iommu=on,relax_rmrr iommu=pt 是Gen8硬件直通用的（非必要，之后有其他启动参数也要加到这里）
    kernel /boot/vmlinuz-6.xx.xx-1-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on,relax_rmrr iommu=pt 
    # 3. 加载初始化驱动包 (内含 NVMe 驱动)
    initrd /boot/initrd.img-6.xx.xx-1-pve

7. 把修改好的U盘插到Gen8上，不出意外就能正常启动NVMe里面的PVE了
   

方法 C：配置 GRUB（追加）

1. 将U盘插到PVE系统上
2. lsblk 命令查看U盘的 分区（sdx0）
   
   修改下面的sdx0或sdx中的x和0成对应的
3. grub-install /dev/sdx0
4. mount /dev/sdx0 /mnt
5. grub-install --target=i386-pc --boot-directory=/mnt/boot /dev/sdx
6. grub-mkconfig -o /mnt/boot/grub/grub.cfg
7. umount /mnt

8. 修改U盘里面的 grub.cfg
   

   根据 /boot 下面的文件修改对应的bvmlinuz和initrd版本

   ### BEGIN /etc/grub.d/10_linux ###
   menuentry 'Proxmox VE (USB Boot)' --class proxmox {
    load_video
    insmod gzio
    insmod part_msdos
    insmod ext2
   
    echo 'Loading Kernel from USB Drive...'
    linux /boot/vmlinuz-6.17.2-1-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on
    
    echo 'Loading Ramdisk from USB Drive...'
    initrd /boot/initrd.img-6.17.2-1-pve
   }
   ### END /etc/grub.d/10_linux ###

进阶：如何让配置永久化

如果你不想每次改完都被 update-grub 覆盖，把上面那段代码复制到 PVE 的这个文件里：
nano /etc/grub.d/40_custom
然后执行一次 update-grub。这样引导项就会被永久加入到启动菜单中，也不怕系统更新了。

反正都要复制Boot系统里面的文件到U盘，方案B和C复杂度差不多
grub4dos只要额外拷2个文件放在根目录，编辑也方便，还是推荐方案B

结语

通过U盘跳板曲线救国，让Gen8这一代神鸡跑上了现代化的NVMe存储
NVME能跑PCIe3.0，虚拟机测速如下：