多机多卡并行计算的一些疑惑。

[Vvvvvvsysy]

你好，我们最近在使用colossalai进行多机多卡大模型训练，我们使用的是双机八卡A100 80G 使用的模型架构是gpt-2类模型。
目前的一个疑惑就是，我们在使用单机单卡、单机多卡和单机八卡甚至多机多卡时，在所有的设置下，模型训练的时间、显卡占用的显存都是一样的，这使得我们不能很好的利用我们的计算资源。虽然colossalai在单机单卡设置下训练速度已经远超其他方法，但是我们想充分利用起我们的计算资源，进而大幅度减少我们在模型训练上花的时间。
希望您能解答上面的问题！
助生活愉快！

[binmakeswell]

Hi @Vvvvvvsysy 多卡和单卡完全一样，多卡配置应该是不太对没有起到效果。
目前描述太模糊，不太清楚您用的什么样例和配置，可能需要您就具体问题，提issue添加详情描述才好分析。
我们也提供公司层面的正式合作，欢迎洽谈。