算力买回来之后，为什么大半时间在发呆

南京的冬天，机房比外面还热。

前阵子去江宁一家公司看他们的训练集群，进门第一件事不是换鞋，是戴耳塞。风扇的声音像一场下不完的雨，密密麻麻砸在耳膜上，中间没有停顿。运维的小哥凑过来喊：现在只跑了一小半的卡。

我脑子里冒出一个特别不科技的念头——我们花大价钱搬回来的算力，有很大一部分时间其实在发呆。

“算力”这两个字，其实是个模糊说法

很多人以为算力就是电脑快不快。不太一样。

机器干的大部分“思考”，拆到最底下是一堆乘法和加法：两个数相乘，结果加到另一个数上。成千上万次，重复到人脑没法想象。算力说的就是这件事的吞吐——单位时间里能做多少次这样的运算。

关键在“运算”前面那个限定词。同一颗芯片，拿不同的数据精度去算，标出来的数字能差好几倍。这不是谁在骗人，是尺子换了。宣传页上那个数，你得先问清楚它是在什么条件下测出来的，不然比来比去没意义。

还有个更容易被忽略的事：算得快，不等于算得完。

一百个厨师也救不了一锅鸭子

南京人懂鸭子。一只盐水鸭，师傅片它要几分钟。你要是把一百个师傅排一排，让他们同时片同一只鸭子——不会更快，只会互相撞胳膊。

有时候我会用这个来跟朋友解释并行计算。GPU 快，不是因为里面每个核心更聪明，恰恰相反，它做的决定少。CPU 把大量晶体管花在“接下来该干什么”“要不要跳过去”这类判断上，核心少，但每条路都走得稳。GPU 把判断逻辑砍到极简，剩下的面积全铺成重复的运算单元，一声令下，几千个单元同时出手。

所以它挑活。适合它的活，它快得离谱；不适合的活，它反而憋屈。这就是为什么训大模型离不开它，而处理一个乱七八糟的数据库查询，它未必比老牌的 CPU 好用。

真正卡人的地方还不在芯片本身。

你想，几千个运算单元同时开工，每一轮都得有新数据喂进来。数据从显存搬进计算单元，这个搬运过程消耗的时间和电力，长期居高不下。业内管这个叫内存墙。墙不是芯片制造工艺塌了，是喂饭的速度跟不上吃饭的速度。算力堆到某个程度之后，你再加卡，边际收益掉得很快，掉的原因常常跟计算没关系，全在搬运和等待上。

那个没人愿意细说的数字

回到开头那台服务器。

买卡的人喜欢说规模：多少张，多少 P。用卡的人心里盯的是另一个数字，利用率。这个数字不好看。训练不是从头到尾都在算的——要等数据加载，要等各个节点之间同步梯度，要隔一阵子存一次检查点。卡在等的时候，电照样烧。

有点像早高峰的新街口。路上车多不多？多。走得动吗？另一回事。

多机多卡之后还多一层麻烦：通信。每张卡算完自己那份，得把自己学到的东西告诉别人，大家对齐了再往下走。卡越多，这个“对齐”的成本越高。有些团队的集群扩到一定规模以后，加快的那部分被通信吃掉了一大半——扩是扩了，账不是那么算的。

所以看到“又建了多大规模的集群”这类消息，我第一反应不是激动，是想问：跑得满吗？跑什么任务？如果答案是买来先放着、等有需求了再说，那它现在的身份更接近一栋不动产。

电和热，比芯片更难绕过去

谈算力绕不开一个特别土的话题——电。

老式机柜一个柜子几千瓦，现在塞满加速卡的柜子，功率往几十千瓦走。风冷压不住，只能上液冷，把板子泡进不导电的液体里，或者让冷板贴着芯片走管路。

南京的夏天，外面三十五度，机房里面的空调几乎是二十四小时满负荷在转。有时候我觉得，真正在给大模型打工的不是程序员，是变电站。

这就解释了为什么一批智算中心建在贵州、内蒙、宁夏那些地方。不是那儿的人更懂算法，是那儿的电便宜、天凉、地广。算力这件事的下半场，拼的可能不是谁的芯片设计得好，而是谁的电来得稳、来得便宜、散热不用花那么多代价。

顺便说，你在手机上问一句 AI，背后确实有一次真实发生的运算，只是它被切得极小，小到你感觉不到。但把它乘上几亿人，再乘上每天几十次，账就大了。

几个朋友常问我的问题

“我家那张显卡算不算算力？”

算。只不过那是你桌面上的算力，孤零零的，没人跟它商量。训一个正经模型，讲究的是成千上万张卡被打通成一个整体，中间的网络、调度、存储都得跟上——单卡再猛，凑不成队伍，也只是个大力士。

“算力是不是快过剩了？”

我更愿意说错配。一边是某些地方机房空着，一边是有人排队等不到卡，中间隔着的不是芯片产量，是需求形态对不上：训练要的是超大规模连着跑几周，推理要的是散落在各处、随叫随到。两拨人要的东西根本不是一回事，却挤在同一批硬件上。

“那以后算力会像水电一样吗？”

这个说法挺好听。水电有个特点：拧开就有，按量付钱，不用管它在哪儿发的。算力离这个还差一段。它得跟着数据走，跟着模型走，中间隔着网络延迟、数据合规、调度协议。你可以把电送到几千公里外，但你很难让一次训练横跨几个机房还跑得一样快。

把话说回来

我并不是想说算力被高估了。恰恰相反，它是这十年里少有的、真的改变了技术走向的东西。只是它被讲得太像一个性能参数，容易让人以为只要数字够大，剩下的问题会自动消失。

不会的。数字够大之后，麻烦才刚开始——数据喂不进去，通信对不齐，电不够烧，热量排不掉，团队把大部分精力花在让几千张卡别互相等着。

那天从江宁出来，天已经黑了，路边的梧桐树影子拖得很长。我摘下耳塞，世界一下子安静得不太真实。脑子里还剩那个嗡嗡的底噪，像什么东西一直在转，一直在等。