《文渊慧典》开发手记之三：国内外研究现状
摘要：本文系统梳理了全球古籍数字化的主要模式与国内现状。海外方面，美国（如哈佛燕京图书馆）以硬件投入见长但中文OCR精度不足，欧洲（如Europeana）强于标准化但中文资源边缘化，日韩则各有精细或封闭的技术路线。国内则呈现国家队（国图）、高校（北大、浙大等）与民间开源力量并存的“星星之火”局面。面对差距，项目团队提出“非对称作战”思路：依托AI开源红利（如PaddleOCR）、聚焦中文古籍图像PDF细分场景、坚持开源与本地化部署，旨在将前沿技术“拆成自行车配件”，赋能基层图书馆，补齐古籍图像到可检索知识的“最后一公里”。
——大胖老师：“小菜，你知道哈佛燕京图书馆最让我羡慕的是什么吗？”
——小菜：“是楼下的咖啡机，听说免费续杯。”
——大胖老师：“……是他们的数字化率超过了80%。咱们呢？8%还差个小数点。”
一、先讲个鬼故事：我们的古籍，正在以“页”为单位消失
2021年河南暴雨，开封图书馆地下书库进水，一批未数字化的明代方志泡成了纸浆。2022年，西南某县档案馆因老鼠啃噬，清代契约损毁过半。2023年，一位退休老馆长去世，他脑子里装着的某孤本索引体系，也跟着烧成了灰。大胖老师每次提起这些事，都猛灌一口枸杞水压惊。
“数字化就是给古籍上保险。可这保险，全世界都在买，咱们还在纠结保费贵不贵。”他说完，打开投影仪，屏幕上出现一张世界地图，上面标注着大大小小的古籍数字化项目。“今儿就带你出国考察，看看别人家是怎么弄的，再掂量掂量咱们的家底。”
二、美国模式：有钱任性，硬件拉满，但中文欠佳
代表：哈佛燕京图书馆（Harvard-Yenching Library）
哈佛燕京，东亚研究藏书的天花板，中文古籍超过60万册。早在2000年初，他们就启动了数字化，用的啥？——顶级扫描仪，冷光源零损伤翻拍，分辨率高到能看到纸张纤维。技术路线早期走的是与谷歌合作，后来转向自建平台，目前已将大量善本、方志、家谱开放给全球读者。
听上去很美对吧？可大胖老师抛出一个问题：“你搜过他们的OCR文本吗？试试看。”小菜打开哈佛燕京的线上阅览页面，选了一部清刻《论语》扫描本，上面虽然有文字层，但一复制粘贴，满屏的错乱。比如“子路問政”成了“子路問政”，“政”字有时还变成“攻”。原来，他们早期的OCR引擎是英文系统，对中文竖排支持有限，大部分文本是靠人工录入或外包校对，成本高到离谱。小菜啧啧：“这是把奔驰发动机装在了牛车上——马力大，但方向偏了。”
更扎心的是版权问题。哈佛燕京很多数据虽然开放，但使用协议严格，商业二次开发基本没戏。而且，他们专注的是馆藏精品，对中国大陆海量的县级方志、契约文书等乡土文献覆盖不到。大胖老师总结：“美国模式，像请米其林大厨做佛跳墙，精细是精细，可一天也就供几桌，没法解决大众需求。”
三、欧洲流派：跨语种联盟，标准化先行，但中文靠边
代表：欧洲数字图书馆（Europeana）与“时间机器”项目
Europeana聚集了欧洲上千家机构的数字化资源，文本、图片、音视频都有。他们的强项是建立了严格的元数据标准，什么Dublin Core、METS、ALTO，一听就让人头大，但保证了跨馆检索的互通性。不过，这里面中文古籍占比极小，OCR引擎主要以拉丁字母为主，对汉字只能用通用的老模型，准确率惨不忍睹。
还有个雄心勃勃的“欧洲时间机器”（Time Machine）项目，试图用AI重建欧洲城市历史。大胖老师摇摇头：“人家忙着复原古罗马街道，咱们还在纠结竖排怎么识别，根本不在一个赛道。但他们的标准化思路值得学，我们将来导出数据也得遵从业界规范，不然信息就成孤岛了。”
四、东亚近邻：日本很精细，韩国爱整合，各有绝活
日本：国立国会图书馆与“古文OCR”
日本在古籍数字化上做得相当细腻。比如国立国会图书馆的“NDL OCR”，专门针对日本古典籍和近代文献。它们训练了专门的手写体、变体假名模型，甚至能处理江户时代的草书。技术上采用深度学习，针对竖排、行草有专门优化。但大胖老师指出，这套系统主要针对日文汉字和假名，对于中文繁体、异体字，特别是俗字和避讳字，处理能力一般。而且他们走的是国家牵头、统一平台的路子，我们国家体量更大，各省馆藏离散，无法照搬。
韩国：韩国古典翻译院与“Hantopia”
韩国将大量汉文古籍（韩国的古代文献多用汉字书写）数字化，建立了“韩国古典综合DB”。他们用的是定制OCR引擎，加上大量人工校正，准确率高。但缺点是封闭，系统不对外，我们只能望着流口水。大胖老师调侃：“人家是把自己的东西护得严严实实，我们是恨不得全公开。文化自信的姿势不一样啊。”
五、台北故宫与台湾“国图”：精品化但门槛高
台北故宫博物院对书画、文献的数字化堪称艺术品级别。他们多用高精度扫描，搭配人工著录。后来也尝试引入OCR，但多是针对印制文本。2018年曾与台湾“中研院”合作，开发古代文书识别系统，主要用于清代奏折，效果不错，但局限在特定类型，而且系统未完整开源。小菜感叹：“技术是好，可我们连访问都经常被墙，学术交流都靠翻墙，更别说拿来用了。”大胖老师敲他脑袋：“别扯远，重点是人家走的是精品路线，一件一件雕琢，没法批处理县级的四万页契约。”
六、大陆现状：国家队与民间力量，星星之火正在燎原
讲完海外，大胖老师把投影切回国内，光点密集起来。“咱们自己，其实也没闲着。”
国家队代表：国家图书馆（中国国家数字图书馆）
国图从2012年起就大规模扫描古籍，到2023年已发布超过10万部数字善本，但多数只提供图像，有完整文字识别的比例不高。他们内部用过商业OCR引擎，也尝试过与科技公司合作定制，但因为古籍的复杂性，一直没能推出通用方案。2021年，国图牵头启动“中华古籍资源库”升级，开始引入AI识别试点。大胖老师说：“国家队是风向标，他们一动，下面的省市就跟。但国家队太大，项目论证都得两年，我们等不及。”
高校与科研机构：北大、浙大、哈工大等
北京大学数字人文中心长期研究古籍结构化，开发了“吾与点”古籍标注平台，侧重众包校对。浙江大学团队用深度学习做过墓志铭识别，哈尔滨工业大学做手写满文识别，各有专攻。但问题是，这些大多是实验室产品，没工程化成一套简单易用的系统，离开校园就水土不服。小菜笑道：“这就像每个食堂都有拿手菜，但没有一家能开连锁店。”
民间力量与开源社区
2020年之后，很多民间爱好者利用PaddleOCR等开源工具自搭古籍识别系统，发在B站、GitHub上。比如有人搞了个“古诗文OCR”，专门识别《唐诗三百首》，效果惊艳，但换成本地方志就歇菜。还有不少数据标注众包项目，比如“古籍在线校对”小程序，聚集了数千志愿者帮忙校对OCR结果。大胖老师点赞：“民间的活力很足，缺的就是一个稳定、全面、开源的平台来整合这些能量。”
七、我们的底气和差距：一场“非对称作战”的战术选择
小菜听完一圈，既兴奋又焦虑：“大胖老师，别人要么有钱，要么有积累，咱们就俩穷教授加几个学生，拿什么拼？”
大胖老师一乐：“别自己吓自己。首先，差距要承认：我们没有哈佛的钱，没有国图的资源，没有台北故宫的设备。但我们的优势恰恰在于——无包袱，能快速试错，而且站在了AI开源爆发的风口上。你想想，2016年之前，深度学习OCR还不成熟，2019年PaddleOCR才刚出来，2021年PPStructure版式分析才完善，到了2023年，这些组件已经强到可以对付古籍了。我们只是把最好的轮子找出来，为中国的烂路做一套避震系统，这事不需要造火箭的团队。”
他掰着手指列出三条底气：
技术民主化红利：PaddleOCR的繁体竖排模型在2022年已经相当能打，我们不用从零训练，只需调参和补充数据，成本骤降。
场景聚焦：我们不贪大求全，只专注“中文古籍图像类PDF”这一细分，深度优化。别人一个引擎打天下，我们是专精一种兵器，砍柴就比瑞士军刀快。
开源+本地化：所有数据不出馆，打消了图书馆最大的安全顾虑；代码全开源，馆员自己就能维护，不会被厂商锁定。这种模式恰是国外大厂和国内商业公司都给不了的。
“这就叫‘你打你的，我打我的’。他们在城里开4S店，我们在乡镇修便民服务站，服务对象不同，但价值一点不小。”大胖老师合上电脑，仿佛已经看到“文渊慧典”在某个县图书馆悄悄亮起绿灯。
八、本章结语：我们不是一个人在战斗
其实，从2016年“互联网+中华文明”行动计划启动，到2022年《关于推进新时代古籍工作的意见》出台，政策东风一阵紧似一阵。全国古籍普查平台已经积累了数百万条书目数据，各地图书馆的扫描仪也嗡嗡转了多年，唯独缺最后一步——把图像变成可检索的知识。我们的“文渊慧典”，就是要补上这临门一脚。不是从零发明，而是把散落在实验室、开源社区、民间爱好者手里的珍珠串起来，做成一条普通人戴得起的项链。
大胖老师最后说了一段话，后来被写进项目说明书扉页：“我们在干的事，跟1960年代美国把阿波罗送上月球不一样，那时候要举国之力。我们要做的，是把‘阿波罗’的技术拆成自行车配件，让每个村庄都能自己造一辆，骑向知识的银河。”
小菜偷偷在笔记本上画了一辆带火箭筒的自行车，下面歪歪扭扭写着：“文渊慧典号，向着竖排繁体，出发！”
本文为注水技术版，您看看即可，不必当真，写此文字就是图一乐：-）