6 Star 21 Fork 12

MindSpore Lab / mindnlp

 / 详情

使用mindnlp套件本地快速拉起推理失败,麻烦协助

待办的
创建于  
2024-04-15 15:41

我使用的是910b双卡,mindspore=2.2.0,python=3.9.0,我的启动代码如下:
推理启动代码
我使用的模型是Qwen1.5-32B-Chat-Int4,从hf获取的safetensors版本,具体结构如下所示:
原版模型
使用我的启动代码运行后,系统提示“TypeError: init() got an unexpected keyword argument 'torch_dtype'”,具体实现过程如下所示:
报错信息
劳烦协助排查下这个错误该如何修正?谢谢。

评论 (0)

COD12321 创建了任务

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(1)
1
https://gitee.com/mindspore-lab/mindnlp.git
git@gitee.com:mindspore-lab/mindnlp.git
mindspore-lab
mindnlp
mindnlp

搜索帮助