在 Raspberry Pi 5 上运行大模型：通过 PCIe x4 连接 NVIDIA 显卡

经过一番努力后，我将一张Nvidia RTX 2060 Super显卡连接到了运行Ubuntu的Raspberry Pi 5上。我会一步步教你完成每一步。

首先，我们需要一些硬件。

1. GPU扩展器：_https://tr.aliexpress.com/item/1005007348688764.html?spm=a2g0o.productlist.main.11.6b23Ttj8Ttj89n &algo_pvid=0e7f4d42-eb23-4838-9ad5-a20ba58cc971&algo_exp_id=0e7f4d42-eb23-4838-9ad5-a20ba58cc971-5&pdp_npi=4%40dis%21TRY%21363.51%2181.21%21%21%2172.00%2116.08%21%40211b807017332135387342399edc5f%2112000040366348410%21sea%21TR%210%21ABX&curPageLogUid=ttxjSAxyY0rl&utparam-url=scene%3Asearch%7Cqueryfrom%3A
2. PI 5 X1010 PCIe:https://tr.aliexpress.com/item/1005007550933808.html?spm=a2g0o.productlist.main.1.6e6a1aa9kDgPw1&algo_pvid=e8f9e70b-400b-460c-be1f-687b65379d69&algo_exp_id=e8f9e70b-400b-460c-be1f-687b65379d69-0&pdp_npi=4%40dis%21TRY%211108.49%211008.73%21%21%21219.56%21199.80%21%4021038df617332137527772148ec7f3%2112000041260418047%21sea%21TR%210%21ABX&curPageLogUid=Yqpdnc8PnHuM&utparam-url=scene%3Asearch%7Cquery_from%3A
3. 外置电源

首先，将显卡连接到转接卡（riser），并给转接卡和GPU接上电源。然后，使用USB线将转接卡的x4连接与主板相连。

接下来，你需要将PI5 X1010 PCIe插入Pi的PCIe接口。然后，X1010前面的4个引脚需要与Pi底部的GPIO引脚接触，这样你就可以不用线缆进行跳接。最后，将4针风扇电源线连接到X1010上。

你的电源没有主板是无法工作的。因此，用跳线连接24针电源线最左边第一行的第4和第5针。

接下来，首先启动电源供应器（电源供应器，PSU），等电源供应器和显卡（GPU）都正常运转后，再打开树莓派（Raspberry Pi）。登录到树莓派之后，依次安装以下软件。

来自 : https://www.lifewire.com/atx-24-pin-12v-power-supply-pinout-2624578

首先，下载这个工具 egpu-switcher-arm64: egpu-switcher-arm64。

然后，执行以下命令：

    sudo cp <下载的文件> /opt/egpu-switcher  
    sudo chmod 755 /opt/egpu-switcher  
    sudo ln -s /opt/egpu-switcher /usr/bin/egpu-switcher  
    sudo egpu-switcher 启用

注意：这些命令用于将下载的文件复制到指定位置，设置文件的执行权限，创建符号链接，并启用 egpu-switcher 工具。

一旦你完成了这一步，Ubuntu 就会检测到你的 GPU，接着继续配置。

接下来呢，安装驱动：

    sudo apt update && sudo apt upgrade -y  # 更新并升级软件包
    sudo apt install build-essential dkms  # 安装构建工具和dkms模块

    wget https://us.download.nvidia.com/tesla/535.104.12/nvidia-driver-local-repo-ubuntu2204-535.104.12_1.0-1_arm64.deb  # 下载NVIDIA驱动程序本地仓库文件

    chmod +x NVIDIA-Linux-<ARCH>-<VERSION>.run  # 赋予脚本执行权限，<ARCH>和<VERSION>是占位符，代表架构和版本
    sudo ./NVIDIA-Linux-<ARCH>-<VERSION>.run  # 安装NVIDIA驱动程序

检查一下显卡。

    nvidia-smi   

    或是  

    lshw -C display

你的系统现在准备好了！可以看看我下面的文章来看看如何本地运行LLM。

嗨，享受一下！