哪种并行策略的显存效率最高

来源：华拓科技网

模型并行策略的显存效率最高。模型并行是包含范围很广的一类技术。会在多个worker之间划分模型的各个层。就其本质而言，模型并行性的计算和通信因模型结构而异，因此在实现上有很大的工作量。模型并行会根据worker数量成比例地减少显存使用量，也是这三种并行度中显存效率最高的，但是其代价是计算效率最低。显存，也被叫做帧缓存，作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同计算机的内存一样，显存是用来存储要处理的图形信息的部件。

违法及侵权请联系：TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务