工业和信息化部主管 中国电子报社主办
收藏本站投稿

技术应用

海外古籍数字化回归项目在京发布,AI识别20万页古籍准确率达97.5%

离家百年、去国万里,它们回来了。5月18日,“汉典重光”海外古籍数字化回归发布会在中国科技馆举行。一批珍藏于加州大学伯克利分校的中文古籍善本,以数字化方式回归故土,落地汉典重光古籍平台。借助阿里达摩院的技术,首批20万页古籍已完成数字化,并沉淀为覆盖3万多字的古籍字典,公众可通过汉典重光平台翻阅、检索古籍。据悉,达摩院AI对20万页古籍的识别准确率达到97.5%。

“汉典重光”项目由阿里巴巴公益基金会、四川大学、美国加州大学伯克利分校、中国国家图书馆、浙江图书馆合作开展,旨在寻觅流散海外的中国古籍并将其数字化、公共化,让普通人也能亲近古籍,通过古籍与先贤对话,与优秀传统文化对话。

汉典重光古籍数字化平台

因邦交、贸易、战乱等,历史上中国古籍时有出海,近代以来,战争和动荡更加剧了古籍的损毁和流散。据不完全估计,散居海外的中国古籍超过40万部、400万册,包括甲骨简牍、敦煌遗书、宋元善本、明清精椠、拓本舆图、少数民族文献等等。

2019年,阿里巴巴和四川大学提出“数字化回归”设想,四川大学历史文化学院王果副院长与该院教授、中央文史研究馆馆员陈力牵线搭桥,沟通北美、欧洲、日韩等地藏书机构,获得加州大学伯克利分校支持,达成共识,将伯克利东亚图书馆的中文古籍善本逐步数字化。

加州大学伯克利分校是美国的汉学研究重镇,中文藏书量排名全美第三。首批数字化的20万页古籍中,包含40余种珍贵宋元刻本、写本,如宋刻本《後村居士集》、北宋《金粟山大藏经》写本;明清至民国时期著名学者钱谦益、翁方纲、王韬的抄本、稿本;著名藏书楼嘉业堂、密韵楼的抄本,还有命运多舛的清文澜阁《四库全书》零本等,很多都是消失多年后重回公众视线的珍本。

文澜阁版《宋百家诗存》(卷七)

伯克利提供古籍的扫描图片和编目数据,达摩院将其全部文字化。古汉语常用字仅有几千,但中国古籍全部字符约有几十万,绝大部分不仅没被现代字库收录,也几乎找不到样本供AI学习。面对海量无标注的数据,如何让AI快速批量识别古籍,始终是古籍数字化领域的技术瓶颈。

达摩院技术团队与四川大学专家联手研发了一套全新的古籍识别系统。利用单字检测、无监督单字聚类、小样本学习、主动学习等机器学习方法,构造了一套边识别古籍、边训练模型的系统,以97.5%的准确率完成对20万页古籍的整体识别。

该系统已能批量识别百本古籍,并沉淀覆盖3万多字的古籍字典。比起专家录入,这套人机交互的识别系统将效率提升了近30倍。随着古籍识别规模的扩增,机器还会自我进化,不断提升准确率和效率。

阿里巴巴达摩院院长张建锋

阿里巴巴达摩院院长张建锋表示,守护中华传世典籍,是科技工作者和文化工作者共同的使命。阿里计划将这套技术工具连同古籍数字化平台一并捐赠,交由权威公共机构长期运营,同时,阿里仍将在古籍数字化工作上持续投入人力物力。

与古籍打了一辈子交道的陈力说,典籍是中华文明的传承载体,更是人类世界的公共财产,希望有更多力量参与中国古籍的保护和传承,让更多普通人有机会接触古籍、使用古籍,让所有蒙尘的古籍重焕新生,让书写在古籍里的文字活起来。

责任编辑:宋婧


声明

1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话010-88558835进行联系,我们将第一时间处理。

相关链接

视频

专题

新思想引领新征程·红色足迹

党的十八大以来,习近平总书记在地方考察调研时多次到访革命纪念地,强调要从中国革命历史、优良传统和精神中汲取养分。追寻红色足迹,感悟初心使命。即日起,本报推出“新思想引领新征程·红色足迹”专栏,跟随习近平总书记的红色足迹,访当事人、忆当年事,重温总书记的重要论述和重要指示精神,生动回顾红色圣地光荣的革命历史、优秀的革命传统...

聚焦2021年全国两会

3月5日,第十三届全国人民代表大会第四次会议在北京人民大会堂开幕。党和国家领导人习近平、李克强、汪洋、王沪宁、赵乐际、韩正、王岐山等出席,栗战书主持大会。初春的北京,处处生机盎然。第十三届全国人民代表大会第四次会议5日上午在人民大会堂开幕。近3000名全国人大代表肩负人民重托出席大会,认真履行宪法和法律赋予的神圣职责。

2021年全国工业和信息化工作会议

12月28-29日,全国工业和信息化工作会议在京召开。会议以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,认真落实习近平总书记重要指示批示精神和中央经济工作会议部署,总结2020年工业和信息化工作,分析形势,部署2021年重点工作。工业和信息化部党组书记、部长肖亚庆作工作报告。

2020年中国家电市场报告

3月22日,中国电子信息产业发展研究院发布了《2020年中国家电市场报告》(以下简称《报告》)。《报告》显示,2020年,我国家电市场零售额规模达到8333亿元,在疫情冲击之下显示出较强的韧性;电商渠道对家电零售的贡献率首次超过50%,网络零售对家电消费的促进作用进一步提升;高端产品、生活家电大幅增长,有效促进了消费升级和产业转型。

世界超高清视频(4K/8K)产业发展大会

会议

2021世界超高清视频产业发展大会

5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2021世界超高清视频(4K/8K)产业发展大会在广州召开。5月9日,广东省委书记李希出席开幕式,工业和信息化部部长肖亚庆、广东省省长马兴瑞、国家广播电视总局副局长孟冬、中央广播电视总台编务会议成员姜文波出席开幕式并致辞。

CITE2021第九届中国电子信息博览会开幕论坛

4月9日,第九届中国电子信息博览会(简称CITE2021)在深圳举办。深圳市人民政府市长陈如桂、广东省人民政府副秘书长陈岸明、工业和信息化部电子信息司司长乔跃山出席开幕式并先后致辞。

2020世界显示产业大会

11月20日,由工业和信息化部、安徽省人民政府共同主办的2020世界显示产业大会在合肥市举行。在开幕式上,工业和信息化部部长肖亚庆、韩国驻华大使张夏成发表视频致辞。安徽省委副书记、省长李国英,工业和信息化部副部长王志军出席开幕式并致辞。

2020世界超高清视频(4K/8K)产业发展大会

11月2日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2020世界超高清视频(4K/8K)产业发展大会在广州市召开。广东省委书记李希出席开幕式,省长马兴瑞出席并致辞。国家广播电视总局局长聂辰席、工业和信息化部副部长王志军、中央广播电视总台副台长蒋希伟出席开幕式并致辞。

2020世界VR产业大会云峰会

10月19日—20日,由工业和信息化部、江西省人民政府主办的2020世界VR产业大会云峰会在南昌举行。在10月19日的开幕式上,中共中央政治局委员、国务院副总理刘鹤发来书面致辞。江西省委常委、南昌市委书记吴晓军,工业和信息化部副部长王志军,江西省委书记、省人大常委会主任刘奇先后致辞。开幕式由江西省委副书记、省长易炼红主持。

世界显示产业大会

本周排行