【蚂蚁集团:自研GMLake已被PyTorch集成,可提升33% GPU可用显存】近日,蚂蚁集团向自研的GPU显存+传输优化开源项目GLake上集成了一种高效的动态显存组合技术框架——GMLake,同时宣布GMLake已被深度学习主流框架PyTorch集成,对上层模型代码和框架代码完全透明,模型不需要修改任何代码即可使用。据介绍,GMLake能够在大模型训练、推理框架底层以及系统层对显存和传输进行一体优化,将碎片化的显存灵活地拼接起来,最高提高33%的GPU可用显存,使显存使用更为高效。
【蚂蚁集团:自研GMLake已被PyTorch集成,可提升33% GPU可用显存】近日,蚂蚁集团向自研的GPU显存+传输优化开源项目GLake上集成了一种高效的动态显存组合技术框架——GMLake,同时宣布GMLake已被深度学习主流框架PyTorch集成,对上层模型代码和框架代码完全透明,模型不需要修改任何代码即可使用。据介绍,GMLake能够在大模型训练、推理框架底层以及系统层对显存和传输进行一体优化,将碎片化的显存灵活地拼接起来,最高提高33%的GPU可用显存,使显存使用更为高效。