如何设置在原有的pytorch_model.bin基础上进行微调训练？

[hdjlcbz]

怎么在原有的模型基础上进行微调训练？

[foreverhell]

训练代码这个部分

把权重导入
weights = torch.load(unet_path)
unet.load_state_dict(weights)

[hnsywangxin]

训练代码这个部分 把权重导入 weights = torch.load(unet_path) unet.load_state_dict(weights)

按照该代码加载了权重，光unet显存占用都将近30G,然后bs=1都会报OOM(我每个卡40G显存)，请问你也是消耗这么多显存嘛

[foreverhell]

训练代码这个部分 把权重导入 weights = torch.load(unet_path) unet.load_state_dict(weights)

按照该代码加载了权重，光unet显存占用都将近30G,然后bs=1都会报OOM(我每个卡40G显存)，请问你也是消耗这么多显存嘛

是，weights可以先放在CPU上，保证unet在GPU就行

[hnsywangxin]

训练代码这个部分 把权重导入 weights = torch.load(unet_path) unet.load_state_dict(weights)

按照该代码加载了权重，光unet显存占用都将近30G,然后bs=1都会报OOM(我每个卡40G显存)，请问你也是消耗这么多显存嘛

是，weights可以先放在CPU上，保证unet在GPU就行

已解决，谢谢

[sswax000643]

训练代码这个部分 把权重导入 weights = torch.load(unet_path) unet.load_state_dict(weights)

按照该代码加载了权重，光unet显存占用都将近30G,然后bs=1都会报OOM(我每个卡40G显存)，请问你也是消耗这么多显存嘛

是，weights可以先放在CPU上，保证unet在GPU就行

已解决，谢谢

请问是如何解决的呢？可以分享下吗，我现在也是加载权重就爆显存

[hnsywangxin]

@sswax000643 问下gpt，或者谷歌查一下，有个关键字参数，这个不难