构建 MLC LLM 并打包 Android 应用:大语言模型Android本地部署完整指南


Lceberg.冰山
原创
发布时间: 2025-12-20 18:06:26 | 阅读数 0收藏数 0评论数 0
封面
本文介绍如何在 Ubuntu 系统下构建并配置 MLC LLM,完成模型打包,并通过 Android Studio 将其集成到移动端应用中。您将学习从本地编译 MLC LLM、生成适用于 Android 的模型资源包,到在 Android Studio 中打开 MLCChat 项目、构建并导出可安装 APK 的完整端到端流程,实现大语言模型在移动设备上的本地部署与运行。
1

安装Rust

首先,下载并安装 Rust 工具链。在终端中运行以下命令:

Curl --Proto '=https’--tlsv1.2-sSf https://sh.rustup.rsl sh

执行后,按照提示操作,直接按回车使用默认选项即可完成安装。

安装完成后,可通过以下命令验证是否安装成功:

rustc --version
cargo --version
rustup --version

如果正确显示版本号,说明 Rust 已成功安装。

2

创建conda环境

创建一个名为mlc-llm的Conda环境,并指定python版本为3.11

conda create --name mlc-llm python=3.11

创建完成之后,激活环境

conda activate mlc-llm

成功激活后,命令行提示符前会显示 (mlc-llm),表示当前已进入该 Conda 环境。

3

安装和验证mlc_llm

安装 MLC LLM 的 CPU 版本

python -mpip install -pre -U -f https://mlc.ai/wheels \
mlc-ai-nightly-cpu \
mlc-llm-nightly-cpu \
--no-cache-dir

参数说明:

  1. python -m pip:使用当前 Python 环境中的 pip,避免路径冲突。
  2. --pre:允许安装预发布(pre-release)版本。
  3. -U--upgrade:升级到最新可用版本。
  4. -f https://mlc.ai/wheels:指定额外的 wheel 索引 URL,从中查找并下载包。
  5. --no-cache-dir:不使用本地缓存,确保下载的是最新构建。

安装完成之后输入以下命令验证mlc_llm是否安装成功

python -c "import mlc_llm;print(mlc_llm)"

如果输出类似如下内容(显示模块路径或对象信息),说明安装成功:

<module 'mlc_llm' from '/path/to/your/env/lib/python3.11/site-packages/mlc_llm/__init__.py'>
4

克隆mlc-llm

cd /usr/local
// 克隆mlc-llm
git clone https://github.com/mlc-ai/mlc-llm.git
// 进入目录
cd mlc-llm

进入项目目录,并初始化所有子模块依赖

cd mlc-llm
git submodule update --init --recursive
5

配置 CMake 并准备 CPU 构建

创建build目录并进入

mkdir -p build
cd build

安装 Vulkan 相关的开发依赖

sudo apt install install -y libvulkan-dev vulkan-tools

使用CMake配置项目

cmake .. \
-DCMAKE_BUILD_TYPE=RelWithDebInfo \
-DUSE_CUDA=OFF \
-DUSE_OPENCL=OFF \
-DUSE_VULKAN=OFF \
-DUSE_RPC=OFF \
-DUSE_SORT=ON \
-G Ninja
说明
  1. -DCMAKE_BUILD_TYPE=RelWithDebInfo:生成带调试信息的优化版本,适合开发与性能分析。
  2. -G Ninja:指定使用 Ninja 作为构建系统(需已安装 ninja-build)。
  3. 所有选项均显式关闭 GPU 后端,确保构建纯 CPU 版本。
6

打包mlc-llm

安装python包

pip insatll -e python/

进入android示例目录

cd /android/MLCChat

修改模型配置文件

vim mlc-package-config.json

清空原有内容,并写入你希望在android设备使用的模型信息,例如:

{
"device": "android",
"model_list": [
{
"model": "HF://mlc-ai/Qwen3-0.6B-q4f16_1-MLC",
"model_id": "mlc-ai/Qwen3-0.6B-q4f16_1-MLC",
"estimated_vram_bytes": 3000000000
}
]
}

说明

  1. device 指定为目标平台(此处为 android)。
  2. model 使用 Hugging Face 格式路径(HF://...)指定模型。
  3. estimated_vram_bytes 是模型运行所需的预估显存(单位:字节),用于资源规划。

执行打包命令

mlc_llm package

打包成功后,会在当前目录(MLCChat)下生成一个 dist/ 文件夹,其中包含可用于 Android 应用集成的模型资源包。

7

打开MLCCHAT项目

在 Ubuntu 系统中启动 Android Studio,然后通过以下步骤打开 MLCChat 项目:

  1. 启动 Android Studio。
  2. 在欢迎界面选择 “Open an existing Android Studio project”(或通过菜单栏选择 File > Open)。
  3. 在文件选择对话框中,导航到 MLCChat 项目的本地路径(例如:/path/to/mlc-llm/android/MLCChat)。
  4. 选中该目录并点击 OK,Android Studio 将加载该项目。
8

生成APP

在 Android Studio 的顶部菜单栏中,依次选择 Build > Generate Signed Bundle / APK

在弹出的窗口中,选择 APK,然后点击 Next

  1. 如果已有签名密钥(Keystore):
  2. 选择 Use existing,并填写密钥库路径、密钥别名及相应密码。
  3. 点击 Next 继续。
  4. 如果尚未创建密钥,可点击 Create new... 按向导生成新的签名密钥。

在下一步中,选择构建变体(通常为 release),并指定 APK 的输出路径。

阅读记录0
点赞0
收藏0
禁止 本文未经作者允许授权,禁止转载
猜你喜欢
评论/提问(已发布 0 条)
评论 评论
收藏 收藏
分享 分享
pdf下载 下载
pdf下载 举报