GLM-4.6回复乱码

[loiuon-cyber]

System Info / 系統信息

使用gpustack部署跨节点部署GLM4.6
gpustack版本：v2.0.1

两个Ascend节点，一共16个npu

后端参数:
--tool-call-parser=glm45
--reasoning-parser=glm45
--enable-auto-tool-choice
--trust-remote-code

推理后端镜像: gpustack/runner:cann8.3-910b-vllm0.11.0

模型文件是从modelscope的智谱AI下载的。

部署模型后进行实验，模型回复是乱码。

用户
你好

AI 助手
onacho mixie danger mitcy无法◆新长度(tasks, sys.stdin, print)
无法lengths newdanger 异 Double长度
你好 mixie danger mitcy无法新outreach_year, sys.stdindanger length en Mixit suppliers qty Asi
无法 dangerous Ham danger
你好 mixie address looks like the above text I run into random strings like this
ChatGPT尚
e this
ChatGPT尚
tGPT尚
atGPT尚
尚
ChatGPT尚
tGPT尚
PT尚
atGPT尚
尚
tGPT尚
PT尚
尚
ChatGPT尚

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

去掉后端参数:
--tool-call-parser=glm45
--reasoning-parser=glm45
--enable-auto-tool-choice

再次测试，仍然回复乱码。

Expected behavior / 期待表现

模型能正常回复

[JaredforReal]

vllm已经发布0.14版本了，尝试一下更新的推理镜像，比如gpustack/runner:cann8.5-910b-vllm0.14.1

[loiuon-cyber]

vllm已经发布0.14版本了，尝试一下更新的推理镜像，比如gpustack/runner:cann8.5-910b-vllm0.14.1

好的，感谢回复，我试一下

[loiuon-cyber]

vllm已经发布0.14版本了，尝试一下更新的推理镜像，比如gpustack/runner:cann8.5-910b-vllm0.14.1

推理后端更换为vllm0.14.1之后，测试GLM4.6和GLM4.7，依然回复乱码

[zRzRzRzRzRzRzR]

这个问题请在vLLM-Ascend上提交，感谢支持。