旧词典里的分词

上周六在老房子搬储物间的纸箱,灰尘扑了满脸。
封皮掉了半块的那本《现代汉语词典》就躺在最上面。1998年版的,藏蓝色封皮,书脊磨得发毛,外面缠的透明胶被太阳晒得发脆,一摸就掉碎渣。

贴满透明胶的词典


我蹲在地上拍灰,从词典夹层掉出来三张叠得整整齐齐的便签,还有一沓压得平平整整的旧地铁票。
是外婆的字。钢笔写的,横平竖直,她以前当小学语文老师的时候,板书就是这个样子。最上面那张便签写着“1999年7月,南大分词培训,带词典”。
我之前完全不知道有这回事。
外婆2019年走的,之前她从来没跟我提过什么分词,什么计算机培训。我只记得她晚年总抱着这本词典查字,有时候看电视剧碰到不认的演员名字,也要翻半天。
我随手翻了两页,空白处密密麻麻全是铅笔写的小字。
1998版现代汉语词典透明胶补书脊
1998版现代汉语词典透明胶补书脊

文印室的夜灯


后来我翻了家里存的旧档案,才把那些碎片拼起来。
90年代末,街道要编白下区的街巷志,所有条目要录进新配的大屁股电脑,做检索用。那时候哪有现在这么现成的分词模型啊,中文不像英文,单词之间本来就有空格,没有空格的中文对刚接触中文信息处理的人来说,简直是天书。
街道找了南大计算机系的几个学生来帮忙,每周二、周四晚上在文印室上课,教他们怎么给电脑喂词表,怎么把容易切错的词单独拎出来。外婆那时候在文印室管打字,自然要跟着去学。
说实话,那时候的分词全靠人工标。
比如街巷志里的“三七八巷”,电脑第一次跑的时候,切成了“三/七八/巷”,有人搜“三七八”,能跳出来一堆完全不相关的内容;还有“大香炉”,有时候切成“大香/炉”,把找老店铺的人引到卖香烛的摊子上去;最搞笑的是“鸭血粉丝汤”,有一次切成了“鸭/血粉丝/汤”,系统把所有带“血粉丝”的条目都捞了出来,把当时来上课的老师笑的直拍桌子,你说离谱不离谱。
外婆说,那时候他们几个值班的人,每天晚上要留到十点多,对着电脑屏幕一个词一个词的校。碰到拿不准的,就翻这本词典,把本地专有名词、老南京的口头语、经常被切错的短语,全抄到词典的空白页上。后来那台大屁股电脑硬盘坏过一次,录好的条目丢了小半,外婆难过了快半个月,说早知道就多打几份纸质备份。
我翻到“评”字那一页,空白处写着“评事街,勿切为评/事街”,旁边还画了个小小的感叹号;“游”字那页写着“游府西街,勿切为游府/西/街”;甚至“鸭”字那页,还标了“鸭血粉丝汤,固定词,勿拆”。
现代汉语词典空白页手写分词批注
现代汉语词典空白页手写分词批注

那些字有的被茶水晕开了边,有的被后来粘的透明胶盖住了半行,凑起来刚好是外婆熬的那些个夜晚。她那时候连代码是什么都不知道,就拿着一支铅笔,认认真真给每个容易被机器拆碎的词打了个结,怕一不留神,那些承载着老南京记忆的地名,就成了没意义的碎块。
夹在词典里的地铁票我数了数,一共七张,都是1999年夏天的,小行到迈皋桥的旧票,票角已经黄得发脆。刚好是七次培训,她每次上完课,就把票根夹在词典里,怕丢。

音箱里的老卤面

音箱里的老卤面
音箱里的老卤面

不过话说回来,我之前真没把这些事当回事。
直到上个月,我对着家里的智能音箱喊“帮我搜评事街老卤面的外卖”,它转了两圈,给我跳出来三家在江宁的店,招牌上连个“卤”字都没有。
我愣了半天。
那时候我突然想起外婆词典里的批注。哦,原来都过去二十多年了,分词还是会错啊。
后来我跟做算法的朋友吃饭,聊起这事。他说现在的分词早就不是以前那种靠人工塞词表的规则匹配了,模型读了几亿页的书,准确率比那时候高了不知道多少。但架不住中文的歧义实在太多了,就像那个经典的歧义短语“咬死了猎人的狗”,你没给上下文,谁知道是咬死了猎人的那只狗,还是把猎人的狗咬死了?
朋友说,哪怕模型再聪明,碰到这种没头没尾的短语,还是会拿不准。就像人有时候看字也会串行,没什么稀奇的。
我突然就笑了。
原来二十多年前外婆拿着铅笔在词典上写的那些批注,和现在几千块GPU跑出来的大模型,本质上是在干同一件事——把那些连在一起的、没有空格的汉字,拆成大家能看懂的、有意义的块。
只是那时候外婆的工具是铅笔,词典,和每晚十点才灭的文印室的灯;现在的工具是显卡,是数据集,是跑在云端的模型。
上周我把那本旧词典搬到了现在的书架上,旁边放着我平时用的电子阅读器。有时候我写东西碰到拿不准的词,还是会翻这本词典,翻着翻着就看到那些歪歪扭扭的铅笔字。
风从阳台吹过来,纸页哗啦响。
我以前总觉得,技术是很远的东西,是实验室里的服务器,是新闻里的大模型,是和普通人没关系的事。可现在看着这本词典上的批注,突然就反应过来,哪里有什么天上掉下来的技术啊。
我们这一辈子,其实都在做分词。
把连在一起的日子拆开,把缠成一团的记忆拼起来,哪些是要连在一起的,哪些是要分开的,哪些是不能被随便拆碎的,全是我们自己拿着笔,一笔一笔标出来的。

作者|大讲堂

排版|大讲堂

审核|安然

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:旧词典里的分词
文章链接:https://m.lfdjt.com/info_23_30506.html