ChatGLM 全球下载超千万：消费级显卡部署 + 免费 API 新手必看

? ChatGLM 到底牛在哪儿？

性能提升有多夸张？

和其他模型比怎么样？

? 消费级显卡部署全攻略

硬件需求

• 显卡：INT4 量化模型最低 6GB 显存，比如 GTX 1660 Super 或 RTX 3060 就够用。如果是 FP16 精度，建议 14GB 显存以上，比如 RTX 3090。
• 内存：CPU 运行需要 32GB 内存，量化模型可降至 5GB。
• 硬盘：至少 40GB 可用空间，模型文件较大。

部署步骤

1. 安装 CUDA 工具：
   
   
   • 先查看显卡支持的 CUDA 版本，在命令行输入 nvidia-smi，记下最高支持的版本。
   • 去英伟达官网下载对应版本的 CUDA Toolkit，比如 CUDA 11.2。
   • 安装后配置环境变量，确保系统能识别。
   
   
2. 安装依赖库：
   
   
   • 创建虚拟环境：conda create -n glm_test python=3.10，激活环境 source activate glm_test。
   • 安装 PyTorch 和相关库：pip install torch torchvision torchaudio，注意选择对应 CUDA 版本的 GPU 版本。
   • 安装其他依赖：pip install protobuf==3.20.0 transformers==4.27.1 icetk cpm_kernels。
   
   
3. 下载模型：
   
   
   • 从 Hugging Face Hub 下载：git clone https://huggingface.co/THUDM/chatglm-6b。如果网络不好，可以手动下载后解压到指定目录。
   • 量化模型下载：直接下载 INT4 量化后的模型，节省内存和显存。
   
   
4. 启动模型：
   
   
   • 加载模型代码：
     python

     from transformers import AutoTokenizer, AutoModel
     tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
     model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize().half().cuda()
     model = model.eval()
     
     
     
   • 运行对话界面：python web_demo.py，默认端口 8000，浏览器访问即可交互。
   
   

常见问题解决

• 显存不足：降低量化精度到 INT8，或减少批处理大小。
• 依赖错误：检查 PyTorch 和 CUDA 版本是否匹配，重新安装依赖库。
• 下载缓慢：使用国内镜像源，或手动下载模型文件。

? 免费 API 调用指南

获取 API Key

1. 注册智谱清言账号，登录后进入开发者中心。
2. 在 API 管理页面创建应用，获取 chatglm_refresh_token，这是调用 API 的关键凭证。

API 调用方法

1. Python SDK 调用：
   
   
   python

   import os
   from zhipuai import ZhipuAI
   
   os.environ["ZHIPUAI_API_KEY"] = "your_api_key"
   client = ZhipuAI()
   response = client.chat.completions.create(
       model="glm-4",
       messages=[{"role": "user", "content": "你好，ChatGLM！"}]
   )
   print(response)
   
   
   
   这里 model 参数可以选择 glm-4 或 chatglm3-6b，根据需求选择。
   
   
2. HTTP 请求：
   
   
   bash

   curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
     -H "Authorization: Bearer your_api_key" \
     -H "Content-Type: application/json" \
     -d '{
       "model": "chatglm3-6b",
       "input": {
         "prompt": "请帮我写一个童话故事。"
       }
     }'
   
   
   
   注意替换 your_api_key 和模型名称。
   
   

高级功能使用

• 流式输出：设置 X-DashScope-SSE: enable，实时获取生成结果，提升用户体验。
• 多轮对话：在 messages 参数中添加历史对话记录，保持上下文连贯。
• 函数调用：通过 tools 参数定义外部函数，让模型调用工具完成特定任务，比如查询航班或生成图片。

? 实际应用案例

教育领域

客户服务

医疗咨询

? 社区资源与支持

• 官方文档：提供详细的安装指南、API 参考和教程，新手友好。
• 社区论坛：在 GitHub 和 Slack 群组中，开发者可以交流经验、解决问题，甚至参与代码贡献。
• 学习活动：定期举办线上研讨会和工作坊，分享最新技术进展和应用案例。

? 总结