东莞市产品网络推广企业,网站功能优化,焦作高端网站建设,网站建设上传宝贝xamp前提#xff1a;当前提供 了8核64G的免费体验规格#xff0c;每天三个小时限额 地址#xff1a;https://console.huaweicloud.com/modelarts/?regioncn-north-4#/dashboard 下载模型#xff1a;请参考另一个文章
创建环境#xff08;自带环境是pytorch1.8的#xff0c;…前提当前提供 了8核64G的免费体验规格每天三个小时限额 地址https://console.huaweicloud.com/modelarts/?regioncn-north-4#/dashboard 下载模型请参考另一个文章
创建环境自带环境是pytorch1.8的所以自己创建conda info --envconda create --name pytorch2.0conda activate pytorch2.0安装必要的包conda install pytorch torchvision torchaudio pytorch-cuda11.7 -c pytorch -c nvidiaconda install pytorch torchvision torchaudio cpuonly -c pytorchconda update -n base -c defaults condaconda install transformers sentencepiecepip install rouge_chinese cpm_kernels运行代码from transformers import AutoTokenizer, AutoModeltokenizer AutoTokenizer.from_pretrained(/home/ma-user/work/glm2/chatglm2-6b-int4,
trust_remote_codeTrue)model AutoModel.from_pretrained(/home/ma-user/work/glm2/chatglm2-6b-int4,trust_remote_codeTrue).cuda()model AutoModel.from_pretrained(/home/ma-user/work/glm2/chatglm2-6b-int4,trust_remote_codeTrue).float()model model.eval()response, history model.chat(tokenizer, 晚上睡不着应该怎么办, history[])print(response)
