GPU 驱动程序和 SDKs

MLC LLM 是通用部署解决方案，允许在没有基于 AutoTVM 的性能调优的情况下高效生成 CPU/GPU 代码。本节重点介绍通用 GPU 环境设置和故障排除。

CUDA

CUDA 是使用 CUDA 后端编译和运行模型所必需的。

安装

如果您有 NVIDIA GPU 并且想使用使用 CUDA 后端编译的模型，您应该安装 CUDA，可以从 此处 下载。

验证安装

要验证您是否正确安装了 CUDA 运行时和 NVIDIA 驱动程序，请在命令行中运行 nvidia-smi 并查看是否可以获取 GPU 信息。

ROCm

ROCm 是使用 ROCm 后端编译和运行模型所必需的。

安装

目前 MLC LLM 仅支持 ROCm 6.1/6.2。如果您有 AMD GPU 并且想使用使用 ROCm 后端编译的模型，您应该从 此处 安装 ROCm。

验证安装

要验证您是否正确安装了 ROCm，请在命令行中运行 rocm-smi。如果您看到 AMD 设备列表以表格形式打印出来，这意味着 ROCm 已正确安装。

Vulkan 驱动

安装

要运行使用 Vulkan 后端编译的预训练模型（例如从 MLC-AI 的 Hugging Face 仓库拉取的模型），您需要在您的机器上安装 Vulkan 驱动程序。

请查看 此页面 并根据您的 GPU 供应商找到 Vulkan 驱动程序。

AMD Radeon 和 Radeon PRO

对于 AMD Radeon 和 Radeon PRO 用户，请从官方网站下载 AMD 的驱动程序（Linux / Windows）。对于 Linux 用户，在安装了 amdgpu-install 包后，您可以按照其 文档 中的说明安装驱动程序。建议您安装 ROCr OpenCL 和 PRO Vulkan（专有）以获得最佳性能，这可以通过运行以下命令完成：

amdgpu-install --usecase=graphics,opencl --opencl=rocr --vulkan=pro --no-32

验证安装

要验证 Vulkan 安装是否成功，建议安装 vulkaninfo，以下是在不同平台上安装 vulkaninfo 的说明：

sudo apt-get update
sudo apt-get install vulkan-tools

安装后，您可以在命令行中运行 vulkaninfo 并查看是否可以获取 GPU 信息。

备注

Windows 的 WSL 支持目前正在进行中。请不要在 Windows 上使用 WSL 来运行 Vulkan。

Vulkan SDK

Vulkan SDK 是将模型编译到 Vulkan 后端所必需的。要从源代码构建 TVM Unity 编译器，您需要安装 Vulkan SDK 作为依赖项，但 预构建轮子 已经附带了 Vulkan SDK。

根据您的平台查看Vulkan SDK安装指南：

开始使用 Windows 版 Tarball 格式的 Vulkan SDK<https://vulkan.lunarg.com/doc/sdk/latest/windows/getting_started.html>`__

请参考安装和设置页面以获取从源代码构建 TVM-Unity 的后续步骤。

OpenCL SDK

仅当您希望为 OpenCL 后端构建自己的模型时，才需要 OpenCL SDK。请参考 OpenCL 的 GitHub 仓库 以获取OpenCL-SDK的安装指南。

Orange Pi 5（基于 RK3588 的 SBC）

编译和运行 OpenCL 后端的模型需要 OpenCL SDK 和 Mali GPU 驱动程序。

安装

  • 从 此处 下载并为您的主板安装Ubuntu 22.04。

  • 下载并安装 libmali-g610.so

cd /usr/lib && sudo wget https://github.com/JeffyCN/mirrors/raw/libmali/lib/aarch64-linux-gnu/libmali-valhall-g610-g6p0-x11-wayland-gbm.so

  • 检查路径 /lib/firmware 下是否存在文件 mali_csffw.bin，如果不存在，请使用以下命令下载：

cd /lib/firmware && sudo wget https://github.com/JeffyCN/mirrors/raw/libmali/firmware/g610/mali_csffw.bin

  • 下载 OpenCL ICD 加载器并手动将 libmali 添加到 ICD

sudo apt update
sudo apt install mesa-opencl-icd
sudo mkdir -p /etc/OpenCL/vendors
echo "/usr/lib/libmali-valhall-g610-g6p0-x11-wayland-gbm.so" | sudo tee /etc/OpenCL/vendors/mali.icd

  • 下载并安装 libOpenCL

sudo apt install ocl-icd-opencl-dev

  • 下载并安装 Mali OpenCL 的依赖

sudo apt install libxcb-dri2-0 libxcb-dri3-0 libwayland-client0 libwayland-server0 libx11-xcb1

  • 下载并安装 clinfo 以检查 OpenCL 是否成功安装。

sudo apt install clinfo

验证安装

要验证您是否正确安装了 OpenCL 运行时和 Mali GPU 驱动程序，请在命令行中运行 clinfo，并查看是否能够获取 GPU 信息。您应该会看到以下信息：

$ clinfo
arm_release_ver: g13p0-01eac0, rk_so_ver: 3
Number of platforms                               2
   Platform Name                                   ARM Platform
   Platform Vendor                                 ARM
   Platform Version                                OpenCL 2.1 v1.g6p0-01eac0.2819f9d4dbe0b5a2f89c835d8484f9cd
   Platform Profile                                FULL_PROFILE
   ...