
Transformer:从一篇被错过的论文到全球AI产业的核心支点
去年冬天在乌镇碰到一个做了12年NLP的老工程师,酒喝到半酣的时候突然拍桌子,说2017年那篇《Attention Is All You Need》他第一次看的时候,只扫了两段就关了PDF——觉得又是个换汤不换药的注意力模块改良,哪想到5年...

去年冬天在乌镇碰到一个做了12年NLP的老工程师,酒喝到半酣的时候突然拍桌子,说2017年那篇《Attention Is All You Need》他第一次看的时候,只扫了两段就关了PDF——觉得又是个换汤不换药的注意力模块改良,哪想到5年...

2026年3月我蹲在苏州工业园区的招投标中心走廊,刚看完某头部汽车零部件厂的工业视觉质检项目开标记录,三个竞标方里,有两个报的方案是基于单卡推理+小模型微调的轻量化路线,第三个是绑定了高端GPU集群的全量数据并行方案,报价比前两个的总和还高...

上周帮我爸整理他那间堆了二十年杂物的朝北小储物间,翻到个用透明胶带缠了三圈的移动硬盘,外壳磨得发白,上面用马克笔歪歪扭扭写了”2019 训练稿”。 压在工具箱最下层的硬盘 我本来以为是他当年给小区做门禁系统存的旧代码...

上周跟一个在南京本地做AI infra的兄弟喝精酿,他掏手机翻了翻最近一周的报警记录,皱着眉说这周已经因为NCCL通信超时重启了17次训练任务,说出来没人信,有一次就是因为机柜里一根网线松了,导致整个万卡集群重启,光恢复状态就花了6个小时,...

开标现场的报价崩盘 2026年3月,苏州相城某汽车Tier1零部件园的公开开标场。我蹲在角落数投标报价。原来做了五年机器视觉缺陷检测的本地厂商,上次同类型项目中标价122万,这次直接报71万。全场哗然。我当时以为他们是为了抢项目赔本赚吆喝,...

上周回老房子整理外婆的旧东西,那台2021年买的平板藏在衣柜最上面的樟木箱里,壳子是她自己绣的梅花,最边上那朵绣歪了,留着个被针扎出来的浅褐色印子。我输了她的生日当密码,点开屏幕,没翻两页就看到一个藏在文件夹最深处的目录,名字叫“改对的话”...

去年乌镇世界互联网大会的场外,我蹲在路边吃生煎,碰到个做SLG游戏发行的老熟人。他嘴里叼着烟,上来就拍我肩膀,说要给自家新游套强化学习做智能NPC,要把玩家玩得一愣一愣的。我咬了一口生煎,油溅到了牛仔裤上。问他知道强化学习核心是啥不?他说不...

3月的昆山风还凉。我在城南一家PCB厂的招标办蹲了一下午,看王工对着一摞标书皱眉头。 换以前,这种AOI视觉检测的招标,标书写得天花乱坠的团队,只要能拿出”千万级缺陷预训练数据集””99.9%的已知缺陷检...

去年梅雨季回老巷收拾外婆的遗物。地板潮得踩上去黏脚。樟木箱子在床底塞了快两年,拉出来的时候,缠在箱盖的蜘蛛网上,被雨淋得透湿。解开铜锁,最先冒出来的是半袋用糖纸包的水果硬糖,粘成了硬邦邦的一块——是2003年外婆退休那天,毕业班的学生塞给她...

上周和南京某自动驾驶公司的算法负责人在软件谷旁边的苍蝇馆子吃饭,他吐槽说现在团队一半的DL算力,都在给客户做”演示版”——真到落地场景,没人敢直接上大模型推理。我当时听到这话差点把手里的盐水鸭夹掉。 毕竟四年前整个行...