You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
谢谢你写出这么优秀的文章。我对你的文章比较感兴趣。作为初学者,我在复现代码的时候采用这个数据集,发现mlm设置是false,修改为true之后出现了新的问题,当执行到bulid文件的if 'mlm' in self.current_task时,计算输入x的qkv时候维度出现了问题。q维度是(128,77,512),k和v维度是(128,193,512),我个人理解是觉得transformer内部会对k进行转置再和q进行计算,但是出现了shape '[-1,616,64]' is invalid for input of size 12648448,请问在复现这个数据集的时候出现这个问题是需要自己修改维度嘛?感觉计算的时候都是进入内置函数计算的,如果需要修改的话要提前在进入cross_former之前对qkv维度进行修改吗?
The text was updated successfully, but these errors were encountered:
谢谢你写出这么优秀的文章。我对你的文章比较感兴趣。作为初学者,我在复现代码的时候采用这个数据集,发现mlm设置是false,修改为true之后出现了新的问题,当执行到bulid文件的if 'mlm' in self.current_task时,计算输入x的qkv时候维度出现了问题。q维度是(128,77,512),k和v维度是(128,193,512),我个人理解是觉得transformer内部会对k进行转置再和q进行计算,但是出现了shape '[-1,616,64]' is invalid for input of size 12648448,请问在复现这个数据集的时候出现这个问题是需要自己修改维度嘛?感觉计算的时候都是进入内置函数计算的,如果需要修改的话要提前在进入cross_former之前对qkv维度进行修改吗?
The text was updated successfully, but these errors were encountered: