拥有一个自己的ChatGPT-ChatGLM3

拉灯是我干掉的
原创
发布时间: 2025-06-10 18:55:32 | 阅读数 0收藏数 0评论数 0
封面
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型。
1

介绍

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:

1. 更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能

2. 更完整的功能支持: ChatGLM3-6B 采用了全新设计的 Prompt 格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景。

3. 更全面的开源序列: 除了对话模型 ChatGLM3-6B 外,还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。

2

使用方式

配置要求:

显卡品牌为NVIDIA且显存不低于12GB,内存不低于16GB。

环境要求:

首先你需要安装GitAnacondaCUDACUDNN

检查是否安装好环境。

git --version
anaconda --version
nvcc -V
3

环境安装

首先需要下载本仓库:在合适的位置下载代码文件与模型文件。

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

然后使用 pip 安装依赖:

pip install -r requirements.txt

其中 transformers 库版本推荐为 4.30.2,torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能。

重要:打开pytorch网站查看适合的版本并安装,requirements.txt里面的自动安装pytorch版本并不适用。

4

模型下载并修改源码

// 下面是三个模型的下载链接,模型较大任选其一即可,使用git工具下载。
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-base.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-32k.git

修改第六行路径为刚刚下载好的模型路径。

// 如下所示
model_path = "D:\\Project\\Python\\chatglm3-6b-32k"
5

运行测试

点击运行python代码即可。

阅读记录0
点赞0
收藏0
禁止 本文未经作者允许授权,禁止转载
猜你喜欢
评论/提问(已发布 0 条)
评论 评论
收藏 收藏
分享 分享
pdf下载 下载