
多头注意力:被吹到神坛的Transformer核心,到底卡在哪了?
上周和某头部大模型厂的算法负责人喝酒,他喝到第三杯的时候骂了句脏话——说外面吹的什么”大模型革命全靠多头注意力”,纯纯是把论文摘要当产业圣经卖。 我当时愣了一下,毕竟从2017年Transformer论文出来到现在,...

上周和某头部大模型厂的算法负责人喝酒,他喝到第三杯的时候骂了句脏话——说外面吹的什么”大模型革命全靠多头注意力”,纯纯是把论文摘要当产业圣经卖。 我当时愣了一下,毕竟从2017年Transformer论文出来到现在,...

2026年3月我在东莞松山湖的一家家电塑料外壳喷涂车间蹲了7天。本来是跟着供应链的朋友聊二季度的零部件降价预期,结果被线长拽着吐槽新上的质检系统。 之前的传统机器视觉,是靠固定阈值找划痕、流挂、漆雾颗粒,线体旁边摆4个边缘推理盒子,单台功耗...

上周六我爬楼梯到五楼,掏钥匙开老房子的门,灰尘味先扑过来。外婆走了快两年,堆在阳台的纸箱子一直没敢整,那天刚好下小雨,没地方去,就蹲下来翻。 最上面的箱子里堆着她的广场舞手绢,织了一半的毛线拖鞋,还有用塑料袋包得严严实实的药盒。翻到最底下的...

很多人第一次接触Transformer,是在某个堆满论文PDF的深夜硬盘文件夹里。 没人想到,这篇原本为机器翻译任务设计的技术方案,后来把整个AI行业的旧框架砸了个稀碎。 从ChatGPT的对话框,到代码补全工具,再到工厂里的工业缺陷检测,...

产线工位上的第一次踩坑 2026年3月我在东莞松山湖的板卡厂蹲点,刚进厂门就碰到仓管老张拉着一推车报废板往废料区走。 一上午的功夫。300多片板直接判废。板表面还带着刚过回流焊的余温。 负责产线的主管蹲在台阶上抽烟,烟蒂扔了一地。算下来直接...
