本地部署 LLaMA-Factory 与 CUDA 环境配置指南

查看当前系统的架构和操作系统信息

查看 GCC 编译器版本

查看 CUDA 支持信息 cuda下载地址

首先，确认系统中 NVIDIA 显卡及驱动状态，可使用以下命令查看 CUDA 是否可用：

下载并安装 CUDA Toolkit 12.6.0

根据您的系统环境（Linux x86_64，WSL-Ubuntu，版本 2.0），选择对应的 CUDA Toolkit 版本进行安装。推荐使用 Runfile（Local）方式安装。

1. 下载安装包
2. 执行以下命令下载 CUDA 12.6.0 的 Runfile 安装程序：

1. 运行安装程序
2. 使用 sudo 执行安装脚本：

1. 安装过程说明
2. 安装界面启动后，输入 accept 接受许可协议。
3. 使用方向键选择安装组件（默认全选），确认无误后，将光标移至 Install 开始安装。
4. 安装过程需要几分钟，请耐心等待直至完成。

查看 CUDA 编译器版本

要查看当前系统的 nvcc（CUDA 编译器）版本，请使用以下命令（注意：-V 必须为大写）：

安装 nvidia-cuda-toolkit

如果系统中未安装 CUDA 工具包，可以通过 APT 包管理器安装 nvidia-cuda-toolkit：

验证安装

安装完成后，再次运行以下命令查看 nvcc 版本信息，确认 CUDA 工具包已正确安装：

如果命令输出显示版本信息，则说明安装成功。

完成安装后，可以通过使用 llamafactory-cli version 来快速校验安装是否成功