网站内页没有排名,wordpress 清爽主题,手机怎样使用域名访问网站,全国建设造价信息网站部署ChatGLM3-6B大模型并进行对话测试 0 介绍#xff1a;1 趋动云项目创建与环境配置1.1 创建项目#xff1a;1.2 配置环境1.2.1 进入终端1.2.2 设置镜像源1.2.3 克隆项目,并安装依赖 2 修改代码#xff0c;改路径以及启动代码3 运行代码3.1 运行gradio界面#xff1a;3.2 … 部署ChatGLM3-6B大模型并进行对话测试 0 介绍1 趋动云项目创建与环境配置1.1 创建项目1.2 配置环境1.2.1 进入终端1.2.2 设置镜像源1.2.3 克隆项目,并安装依赖 2 修改代码改路径以及启动代码3 运行代码3.1 运行gradio界面3.2 运行streamlit界面 0 介绍
本项目是根据datawhale 与 趋动云平台联合 联合的项目本文主要在于学习和了解使用大模型。 使用的大模型是 ChatGLM3-6B, 这是智谱AI和清华大学KEG实验室联合发布的新一代对话预训 练模型。 整体平台感觉还是非常好用的方便模型的部署。 项目地址 https://github.com/THUDM/ChatGLM3
1 趋动云项目创建与环境配置
1.1 创建项目
创建好账号之后进入自己的空间点击右上角的创建项目。 给自己项目命名选择本地代码 镜像选择pytorch2.0.1,python3.9 选择预训练模型点击公开选择不要葱姜蒜上传的这个ChtaGLM3-6B模型。
都选完之后点击右下角的创建代码选择暂不上传。待会直接clone代码。 点击运行代码 资源配置选择B1.large,24G的显存足够加载模型了。其他的不需要设置然 后点击右下角的开始运行。
1.2 配置环境
1.2.1 进入终端
等右边两个工具全部加载完毕之后再点击JupyterLabi进入开发环境 进入界面之后会有一个环境界面可以简单运行一下环境界面可以看到每个部分的文件都有自己固定的位置。
然后点击 小加号新建一个终端。 点击 terminal 进入终端 1.2.2 设置镜像源
首先在终端输入tmux,进入一个新的会话窗口。使用tux可以保持终端的稳定性。
tmux升级apt,安装unzip:
apt-get update apt-get install unzip设置镜像源升级pip
git config --global url.https://gitclone.com/.insteadof https:/
pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple
python3 -m pip install --upgrade pip注如果存在一些连接错误你可以在23行中间添加
pip config set global.trusted-host mirrors.ustc.edu.cn1.2.3 克隆项目,并安装依赖
克隆项目并进入项目目录
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3我觉得应该在里面搞一个虚拟环境然后在虚拟环境里面安装而不是在base里面安装。
返回终端安装依赖 修改requirements: 双击左侧的requirements.txt文件把其中的torch删掉因为我们的环境中已经有 torch了避免重复下载浪费时间。
pip install -r requirements.txt2 修改代码改路径以及启动代码
修改web_demo2.py ** 将加载模型的路径**修改为 …/…/pretrain 如下图所示
修改web_demo.py文件先修改路径代码然后修改启动代码。
将下方的启动代码修改为 下方代码 demo.queue().launch(shareFalse,server_name“0.0.0.0”,server_port7000)
于此同时在界面的右边添加外部端口7000
3 运行代码
3.1 运行gradio界面
python web_demo.py加载完毕之后复制外部访问的连接到浏览器打开 direct.virtaicloud.com:43779
使用谷歌打开可能会存在一些问题可以换成ie浏览器 这里的A,B这些错乱的字符是我鼠标滚轮上下移动导致的可以忽略不影响的。
3.2 运行streamlit界面
如果你已经运行了gradio 需要先杀掉这个进程否则内存不够用。 使用 **ctrl c **杀掉进行。 杀掉进程之后显存不会立刻释放可以观察右边的GPU内存占用 查看显存释放情况。
上面已经直接修改过 web_demo2.py 所以可以直接使用streamlit 运行
streamlit run web_demo2.py运行 streamlit 之后终端会打印两个地址。在右边添加一个和终端上显示的一样的端口号。
添加端口
等待加载完毕之后再复制到浏览器里面打开
然后打开浏览器 可以进行对话。
