案例赏析

我们用AI每生成一幅图片，消耗的电量可以让一部手机充满电，像Chatgpt这样的AI大模型单次训练的耗电量会超过2.4亿度，这相当于6万家庭全年的用电量。大模型在变聪明的同时，实现低能耗、低碳排也是AI要面临的一场 “大考”。 也许您会问，能不能把AI算力设备动态关机，这样不就省电了？答案其实是不能。对于AI的能耗管控，不能像水龙头或电灯那样，一关了之或一开了之，而是要保证AI计算不中断的情况下算力实现能耗压降，这也是“东数西算”所面临挑战之一。中国联通承担了“东数西算”算力资源调配的重任，我和我们的团队自主研发“算力池”技术实现AI能耗10%的压降。在传统计算架构中，执行AI计算的GPU芯片与逻辑管理的CPU芯片是紧密绑定的，这样齐头并进的方式也限制了他们的灵活性。我们受到火车厢动态调度的启发，将GPU与CPU进行解耦管控，并形成可以动态组合的算力池。这样在执行AI计算时，CPU火车头只需要拉着装满数据的GPU车厢跑，而其他空载GPU车厢便可以原地休息，由此避免芯片空转空跑带来的能耗浪费。特别在GPU芯片卡脖子背景下，东西部地区算力池的智能调度，还可以实现“以一当十”的资源高效利用。这项方案在2023年被联合国国际电信联盟采纳，作为全球首个AI能耗管控标准从中国走向世界舞台。

评论0