外婆语音备忘录里的迁移学习

上周回老房子整理外婆的旧东西,那台2021年买的平板藏在衣柜最上面的樟木箱里,壳子是她自己绣的梅花,最边上那朵绣歪了,留着个被针扎出来的浅褐色印子。我输了她的生日当密码,点开屏幕,没翻两页就看到一个藏在文件夹最深处的目录,名字叫“改对的话”。

旧平板里的错字文件夹

点进去全是她的语音备忘录转写记录。最早的一条是2022年冬天的,转出来的字七扭八歪:“切药,三点半,窗关了,张阿婆喊我乘娘”。我当时蹲在地板上看,笑到肚子痛,转头就拍给我妈看,说外婆这写的是加密电报吧,谁能看懂。 她是绍兴人,讲了一辈子带口音的普通话,平翘舌不分,前后鼻音混着来,之前系统自带的语音转写,从来没对准过她的发音。我之前也找过做算法的朋友问,说要专门给她训个识别口音的小模型,得攒几百条清晰的语音,还要逐字标对内容,算下来要花好几天的功夫,那时候我天天加班,这事就搁下了。
老年平板屏幕上江浙口音语音转写错字界面
老年平板屏幕上江浙口音语音转写错字界面
我翻到最新的一条,是上个月的,转出来的字整整齐齐:“今天吃了半块定胜糕,甜的,没放太多糖”“楼下的枇杷树结了果,青的,还要等半个月”“药吃了,没忘”。 我当时愣了好久。我妈打电话跟我说现在转写全对的时候,我还以为是系统更了大版本,把全国的方言都识别准了。

没经过完整训练的小模型

周末约那个做算法的朋友吃火锅,他咬了一口毛肚,跟我说根本不是系统更了多大的版本。就是平台上的算法团队,用了迁移学习的核心逻辑从来不是从零搭建一套全新的能力——之前他们已经花了好几个月的时间,攒了几十亿条通用的中文语音数据,训出了一个基础的大语音模型,甚至已经专门学过上海话、宁波话、绍兴话这些江浙片区的方言发音规律。 之前这个模型识别外婆的话不准,是因为它不知道外婆说话的习惯:她总喜欢把“药”的尾音拖半拍,把“糕”的声母咬得特别重。根本不需要重新从零攒数据训模型,只要把她这两年手动改对的那几十条错字记录,往现有模型上搭个小架子,把已经学会的方言发音映射,稍微调一调参数,就能精准对准她的发音了。 说实话,我之前总觉得人工智能离我们家远得很,都是新闻里说的什么大算力中心、百亿参数模型,哪能想到最后用到我外婆身上的,根本不是什么从零开始训练的新东西。那些在机房里跑了几个月、吞了几十亿条语音数据学出来的能力,根本不需要为了一个老太太的口音重新算一遍,只要把已经攒的本事挪一点,往她独有的说话停顿、咬字轻重上靠一靠,花的算力可能还不如我家里那台旧笔记本跑半小时游戏多。 太省事儿了。
迁移学习小模型参数微调流程示意图
迁移学习小模型参数微调流程示意图
不过话说回来,要是真的为了给外婆转写语音就从零训个模型,算下来的成本够我给外婆买十年的桂花糕了,哪有这么折腾人的。 后来我才知道,现在社区卫生服务中心那个读眼底片的AI系统,也是这么做的。之前大医院的团队已经训了个能识别眼底病变的通用模型,根本不需要为了社区的场景重新从零训练,只要拿社区里攒的几百份老年病例微调一下参数,就能认出早期的白内障、黄斑病变,给那些跑不动大医院的老人省好多事。

被挪来的日常能力

我之前跑口述史项目,总想着找那种惊天动地的技术节点,什么大模型发布,什么颠覆性的发明,觉得只有那种横空出世的东西,才算得上是改变生活的技术。结果翻遍家里的旧物件,发现真正扎进普通人日子里的技术,根本不是什么从零到一的新创造。 那些被大模型“学”过的通用能力,只需要轻轻调整参数,就能适配到非常细分的个人场景。比如楼下修电动车的王师傅,之前对着一堆花花绿绿的线路,要记好几个牌子的接口规则,现在用的那个线路识别APP,根本不是专门给他的修车铺做的,是把通用的图像识别模型,拿他拍的几十张电动车线路照片微调了一下,对着接口拍个照,就能告诉你哪根线接哪里。他上次还跟我吐槽,说这APP碰到改装过的线路就认不准,但总比以前瞎接强,上次接错线烧了个控制器,他赔了人家两百块,心疼了三天。 我外公走了三年,之前我们攒了他在家庭群里发的二十几条语音,想做个能模仿他声音的小工具,之前问过好多人,说要做个能以假乱真的声音模型,得要几个小时的清晰录音,我们凑不出来,这事就搁下了。结果上次回家,外婆点了一下平板上的小按钮,就听到一个有点飘的、带着老年男性沙哑感的声音说:“记得关窗,别舍不得开空调”。 我当时鸡皮疙瘩都起来了。那声音不是百分百像,尾音还有点发颤,不像外公以前说话那么沉,但足够让外婆愣神半天,手里剥了一半的橘子,瓣都掉在裤子上了都没察觉。 原来这也是用的同样的思路。根本不需要从零学怎么模仿一个人的声音,只要把通用的老年男性声线模型,拿外公那二十几条语音调一调参数,就能调出几分他说话的味道。 真正扎进普通人生活的技术,从来不是横空出世的颠覆。是把已经攒了好久的本事,轻轻挪到每个人的手边。 上周我把外婆平板里的转写记录都整理出来,打印成薄薄的一本小册子,拿给她看。她戴着老花镜,逐字逐句地读,读到她跟外公第一次在供销社柜台见面的那段,抬头跟我说,你外公那时候啊,买给我的水果糖,我藏在枕头底下,都化了。 我没接话。窗外的梧桐叶飘下来,落在窗台上。 我突然想起外婆年轻时候抄的那本旧菜谱,里面好多菜的做法,都是她从邻居家、从单位食堂的师傅那里学来的,不是自己凭空发明的。原来好多东西都是这样,把已经会的本事,挪一点,改一点,就能凑出适合自己的法子。 她不需要知道什么是迁移学习。她只需要知道,现在对着平板说话,就能把想说的话存下来,能听到几分外公的声音,就够了。

作者|大讲堂

排版|大讲堂

审核|小准

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:外婆语音备忘录里的迁移学习
文章链接:https://m.lfdjt.com/info_23_30464.html