行业资讯 · 发布时间:
裸机推理预算不能只把显卡标称功耗相加。裸机计算资源部署AI模型推理的功耗与散热预算,要同时回答三个问题:设备持续运行时会用多少电,电源与机房能否承受负载,以及热量能否持续排走。先按硬件规格估算,再用实际负载测量修正,才适合采购和部署。
先分清设备功耗、墙上输入和热负荷
显卡的板卡功耗、处理器的功耗上限和整机从插座取电不是同一个数。标称功耗适合做初步规划;实际用电还受模型、并发量、批处理大小、功率限制和风扇转速影响。空闲待机、持续推理和短时高负载也可能差异明显。
估算整机时,分别列出加速卡、处理器、内存、存储、主板及风扇的功耗。合计得到的是设备侧负载估值;再除以电源在相应负载下的转换效率,估算交流输入功率。电源效率不是固定值,应查对应电源资料或在目标负载下实测。长期运行的计算机消耗的电能最终大多转化为机房热量,因此散热预算可先按整机交流输入功率估算。

用一台双卡服务器算出初始预算
以两张 NVIDIA L40S 为例,其规格中的板卡功耗为每张最高约350瓦,两张合计约700瓦。假设处理器按300瓦、内存和其他部件合计按250瓦做初步估值,设备侧合计约1250瓦。这里的处理器和其他部件数字只是预算假设,不代表所有服务器配置。
若电源在该负载区间的效率暂按92%估算,交流输入约为1250÷0.92,即1360瓦。热负荷约为1.36千瓦,折合约4640 BTU/小时(按1瓦约等于3.412 BTU/小时换算)。实际值要以整机功率计或机架PDU读数校准;若显卡功率限制、风扇设置或推理负载改变,结果也会变化。裸机计算资源部署AI模型推理的功耗与散热预算,应保留配置假设,避免把估算值当作实测结果。
从估算走到可执行的供电和制冷方案
- 查设备规格。记录显卡板卡功耗、处理器功耗范围、电源额定容量,以及服务器厂商对进风温度和供电的要求;不要把单个部件的功耗上限直接当作整机实耗。
- 测目标负载。在计划使用的模型、并发数和输入长度下运行推理测试,分别记录空闲与稳定高负载时的交流功率。可读取带计量功能的PDU或功率计数据,并记录测试时长、环境温度和功率限制。
- 核对供电余量。按整机输入功率检查回路、插座、PDU和UPS容量,并核实电压、电流及相位限制。还要考虑启动或负载变化带来的短时波动;采用冗余电源时,应按单路失效后的可用容量校核,而非只看电源铭牌总和。
- 核算制冷与气流。将持续热负荷汇总到机架和房间层面,再确认空调可用制冷量、送回风路径和机柜进风温度。冷通道封闭能减少冷热空气混合,但不能替代制冷能力;机柜功率密度较高时,还应检查局部热点。
预留多少空间,取决于部署边界
如果设备负载变化大、未来会增加显卡,或UPS还要承担其他设备,应分别给供电和制冷留出余量,而不是套用一个固定比例。小规模单机部署可先依据实测峰值核对回路;多台服务器则要按同时运行的负载、机柜容量和故障冗余分别计算。制冷设备的名义制冷量也不等于机柜位置实际可获得的冷量,安装环境、风道和维护状态都会影响效果。
归纳起来,裸机计算资源部署AI模型推理的功耗与散热预算,宜采用“规格初算—负载实测—供电校核—热量复核”的流程。把每项估值、效率假设和测量条件写进配置表,后续更换模型或加卡时就能据此更新,而不是凭显卡数量猜电费和空调需求。
常见问题
显卡标称功耗能直接用于电费估算吗?
不宜直接使用。它可作为部件预算依据;电费估算应优先采用整机交流侧实测功率,并结合实际运行时长。
散热量要不要再加上电源损耗?
若按插座侧输入功率估算,电源损耗已经包含在输入电量中,通常可将该输入功率近似视为机房热负荷。若从部件直流功耗出发,则要考虑电源转换损耗。
UPS容量按瓦还是伏安选?
两者都要核对。确认UPS的有功功率上限、视在功率上限、输出电压和预期续航,并根据实测负载及设备要求选择。


