指令微调报错：A decoder-only architecture is being used, but right-padding was detected! For correct generation results, please set padding_side='left' when initializing the tokenizer.

[1938225289]

System Info / 系統信息

transformers 4.46.0，python3.10

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
tokenizer.padding_side = 'left' # 设置左侧填充

Expected behavior / 期待表现

有人遇到相同情况吗？

[sixsixcoder]

你用的哪个模型，用的哪个微调脚本

[zRzRzRzRzRzRzR]

这个地方不应该出现

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True,padding_side = 'left')

尝试这样呢

[1938225289]

你用的哪个模型，用的哪个微调脚本

9B-Chat，lora微调，我将finetune.py修改了，用来适配指令微调数据集格式。

[1938225289]

这个地方不应该出现

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True,padding_side = 'left')

尝试这样呢
这种方法我试过，还是会出现一样的问题。