您好关于运行代码加载模型到GPU上时直接报显存溢出的问题

[625033011]

您好，我使用的8G显存显卡，batchsize设置成4，最大长度16依然跑不起来，代码跑到“model.to(device)”这个地方就报错显存溢出了，请问下作者您跑这个代码的硬件配置，显存需要多大才能跑起来

[Fino2020]

12起步吧应该，我自己的电脑8G也跑不起来，用的服务器跑的

[liucongg]

我2060s-8G卡就能跑呀

[Fino2020]

啊？我3070ti 8g都跑不了……这是为啥捏 发自我的iPhone

…

------------------ 原始邮件 ------------------ 发件人: logCong ***@***.***> 发送时间: 2022年6月16日 22:09 收件人: liucongg/GPT2-NewsTitle ***@***.***> 抄送: Fino-QQ2361784228 ***@***.***>, Comment ***@***.***> 主题: Re: [liucongg/GPT2-NewsTitle] 您好关于运行代码加载模型到GPU上时直接报显存溢出的问题 (Issue #31)

[liucongg]

按道理不应该，确认一下生成长度和bs呢

[Fino2020]

我用的huggingface上1024长度的预训练模型，然后batchsize是8，（但是我之前试过4好像也不行，2行不行不大记得了），生成的长度大概是25吧 发自我的iPhone

…

------------------ 原始邮件 ------------------ 发件人: logCong ***@***.***> 发送时间: 2022年6月16日 22:12 收件人: liucongg/GPT2-NewsTitle ***@***.***> 抄送: Fino-QQ2361784228 ***@***.***>, Comment ***@***.***> 主题: Re: [liucongg/GPT2-NewsTitle] 您好关于运行代码加载模型到GPU上时直接报显存溢出的问题 (Issue #31)

[liucongg]

你可以用我给的预训练模型，最大长度512，能跑

[Fino2020]

5555，可是我做的这个任务的数据集长度就非常的长，我明天再试试截取512长度吧，然后请问提取文本中的重要语句的方法除了抽取式摘要rankpage这些还有啥办法捏 发自我的iPhone

…

------------------ 原始邮件 ------------------ 发件人: logCong ***@***.***> 发送时间: 2022年6月16日 22:15 收件人: liucongg/GPT2-NewsTitle ***@***.***> 抄送: Fino-QQ2361784228 ***@***.***>, Comment ***@***.***> 主题: Re: [liucongg/GPT2-NewsTitle] 您好关于运行代码加载模型到GPU上时直接报显存溢出的问题 (Issue #31)