特定のローカルLLMでの発言数制限における問題

[JunzoKamahara]

特定のローカルLLM（具体的にはCommand R PlusやMistral系？)では、ユーザroleがuser/assistant/user/assitant/user/...という順序になっていないとエラーになるものがありました。その場合Bad Request 405が返ってきます。
調べてみると、発言履歴を10個だけ使っていますが、この場合「assitant/user」の５回繰り返しになります。先頭がassistantoなら良さそうなんですが、実は最初にsystem promptが入っているので、systemはassistanto相当になり、assistant/assitantと続くのでエラーになるようです。
単純にエラーをなくすだけなら、slice(-11)とかにすればエラーは出なくなります。
あるいは、この系統のLLMでは、system promptをuser roleに変更するとか（すいません、確認できていません）もありそうですが、モデル毎の設定を追加するのはちょっと面倒ですね。
src/pages/index.tsx:484
const messages: Message[] = [
{
role: "system",
content: systemPrompt,
},
...messageLog.slice(-10),
];

[JunzoKamahara]

あ、すいません、vllmのデフォルトチャットテンプレートを使用しているためかもしれません。vllm側で工夫すればいいのかな。

vllm-project/vllm#2112

[tegnike]

Issueありがとうございます！

おお、ローカルLLMにもAnthropic Claudeみたいな仕様のLLMがあるんですね👀

Claudeで下記のようなロジックを組んでるので転用できるかもしれません！
後ほど確認しておきます！

• 必ず user から始まるようにする
• 必ず user => assistant => user => ... の順番にする

ちなみにですが、エラーの出るLLMの名前おしえてもらってよいですか？

[JunzoKamahara]

すいません、返事遅くなりました。CohereのCommand R Plus 70Bを量子化したものをvllmで動かしています。