请问目前开源的72B和灵积上的72B是同一个模型吗? #1026
Unanswered
blurrrryface
asked this question in
Q&A
Replies: 1 comment
-
也许不是同一个模型。通过灵积API调用的模型可以与langchain结合实现RAG等功能,但是本地部署的模型不可以按照langchain文档上的示例去用。例如:
这段代码如果model=Tongyi()就可以正常运行,如果将model换成本地部署的模型就会报错。(model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="cpu", trust_remote_code=True).eval()这样就报错) 目前不知道如何解决。 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
之前在测试的过程中一直用的是灵积的API,但是最近服务器到了后本地部署了72B后发现输出的结果有点差距,在输入文本较短的时候还是表现挺不错的,但是长文本,例如RAG这种,推理的结果相比API的就偏短很多了
Beta Was this translation helpful? Give feedback.
All reactions