正文

ChatGLM 消费级显卡部署全攻略：多轮对话 + 工具调用功能解析

AI资讯V管理员 /阅读
06 17
? ChatGLM 消费级显卡部署全攻略：多轮对话 + 工具调用功能解析

想在自己电脑上体验 ChatGLM 的强大功能？别担心，就算是消费级显卡也能轻松搞定。这篇攻略会一步一步教你如何在 NVIDIA 或 AMD 显卡上部署 ChatGLM，还会详细解析多轮对话和工具调用功能，让你用起来得心应手。

? 部署前的准备工作


首先得明确自己的硬件条件。ChatGLM-6B 在 FP16 精度下需要至少 14GB 显存，要是你的显卡显存不够，比如只有 8GB，可以考虑使用 INT8 或 INT4 量化模型，显存需求能降到 6GB 左右。像 NVIDIA 的 RTX 3060、3070，AMD 的 RX 6700 XT 等显卡都能满足基本需求。

软件环境方面，得安装 CUDA 和 cuDNN。要是用 NVIDIA 显卡，先通过nvidia-smi命令查看支持的 CUDA 版本，再去官网下载对应版本。AMD 显卡的话，需要安装 Rocm 驱动和 MNN 框架。Python 环境建议用 3.10 以上版本，虚拟环境可以用 conda 创建，命令是conda create -n glm_test python=3.10。

? 显存优化技巧大揭秘


? 模型量化


量化是降低显存占用的关键。INT4 量化能让 6GB 显存支持 8K 对话长度，INT8 量化则需要 8GB 显存。量化方法有两种，一种是直接下载预量化模型，比如从 Hugging Face 下载chatglm2-6b-int4；另一种是在代码中修改加载方式，把model = AutoModelForCausalLM.from_pretrained(...)改成model = AutoModelForCausalLM.from_pretrained(...，quantization_bit=4)。

?️ 梯度检查点


梯度检查点能通过重新计算中间激活值来节省显存。在 PyTorch 中，用torch.utils.checkpoint.checkpoint函数包裹模型层就行。比如把output = self.layer(input)改成output = checkpoint(self.layer, input)。不过要注意，第一层不能用梯度检查点，不然会影响参数更新。

? 调整生成参数


调整top_p和temperature参数也能优化显存。top_p设为 0.7 时，模型会选择概率超过 70% 的词，生成更准确；设为 0.3 时，生成更多样，但显存占用可能增加。temperature设为 0.05，模型会更自信，生成速度更快；设为 0.95，生成更随机，显存占用可能更高。

?️ 多轮对话实现详解


? 维护对话历史


多轮对话得维护历史对话记录。在代码中，用一个列表保存用户和模型的对话内容，每次生成回复时把历史对话作为输入的一部分。比如：

python
history = []
while True:
    query = input("用户：")
    response, history = model.chat(tokenizer, query, history=history)
    print("ChatGLM：", response)

这里的history参数会把之前的对话信息传给模型，让模型生成更连贯的回复。

⚡ 动态调整上下文长度


为了减少显存占用，可以限制输入序列的最大长度。ChatGLM-6B 默认支持 2048 长度的推理，要是对话太长，就截断历史对话。比如保留最近的 5 轮对话，超过的部分就去掉。代码里可以用tokenizer的truncate参数来实现。

?️ 工具调用功能集成


? 构建工具调用逻辑


工具调用需要定义工具及其参数。比如定义一个天气查询工具，参数是城市名称。在对话中，当用户问天气时，模型会调用这个工具。具体步骤如下：

  1. 构建 System Prompt，告诉模型什么时候调用工具。
  2. 用户提问后，模型判断是否需要调用工具。
  3. 调用工具生成回复，解析工具返回的结果。
  4. 模型根据结果继续生成回复。

? 代码实现示例


用 LangChain 框架能轻松集成工具调用。先安装相关库：

bash
pip install langchain chatglm-cpp

然后在代码中初始化模型和工具：

python
from langchain.llms import ChatGLM
from langchain.tools import Tool

llm = ChatGLM(endpoint_url="http://127.0.0.1:8000")
tool = Tool(
    name="WeatherTool",
    func=get_weather,
    description="查询天气，参数为城市名称"
)

当用户提问时，模型会自动调用工具：

python
from langchain.chains import SimpleSequentialChain

chain = SimpleSequentialChain(llm=llm, tools=[tool])
response = chain.run("北京明天的天气怎么样？")
print(response)

这样就能实现工具调用功能了。

? 性能测试与调优


? 不同显卡性能对比


测试了几款消费级显卡在 ChatGLM-6B 上的表现。RTX 3090 在 FP16 精度下，推理速度能达到 16.91 tokens/s；RTX 4090 更快，能达到 17.55 tokens/s。AMD 的 RX 6900 XT 在 INT4 量化下，推理速度约为 4-5 tokens/s。要是追求极致性能，RTX 4090 是更好的选择；要是预算有限，RTX 3060 也能满足基本需求。

? 使用加速库


FastLLM 是个不错的加速库，能显著提升推理速度。INT4 量化的 ChatGLM-6B 在 FastLLM 下，单卡可达 10000+ token/s，在骁龙 865 手机上也能流畅运行。安装 FastLLM 后，只需在代码中添加两行就能加速：

python
import fastllm
model = fastllm.ChatGLM("chatglm3-ggml.bin")
response = model.chat("你好")

❓ 常见问题解决


? 显存不足


要是遇到显存不足的问题，先试试降低量化等级，比如从 FP16 换成 INT4。还可以减少批处理大小，或者启用梯度检查点。要是这些方法都不行，可能就得升级显卡了。

? CUDA 版本不兼容


检查 CUDA 版本是否和 PyTorch 匹配。用nvcc -V查看 CUDA 版本，用torch.version.cuda查看 PyTorch 使用的 CUDA 版本。要是不匹配，重新安装对应版本的 PyTorch。

? 工具调用失败


工具调用失败可能是参数解析错误。可以用 Python 的eval()函数解析参数，或者手动解析 AST。要是工具返回错误，检查工具代码和 API 接口是否正常。

? 移动端部署


高通骁龙 8 至尊版移动平台能支持 GLM-4V 端侧视觉大模型，推理速度超过 70 tokens / 秒。在手机上可以通过相机进行实时语音对话、上传照片或视频进行对话，实现智能导航、穿搭建议等功能。部署步骤如下：

  1. 下载适配骁龙 8 的模型文件。
  2. 安装高通 AI 软件栈。
  3. 使用 Android Studio 开发应用，调用模型 API。

? 总结


通过这篇攻略，你应该能在消费级显卡上顺利部署 ChatGLM，实现多轮对话和工具调用功能。记得根据自己的硬件条件选择合适的量化等级和优化策略，遇到问题多参考官方文档和社区资源。希望你能充分发挥 ChatGLM 的潜力，打造出属于自己的 AI 应用！

该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具