收藏 | 国内外好用的语料库资源汇总

爱分享的应用语言学研习 2022-06-09

欢迎关注我们，一站式获取海量语言学资源

本文来源：长三角语言治理研究联盟公众号

转载编辑：研习君

星标应用语言学研习，更新不迷路⭐

通用单语语料库

01国家语委现代汉语通用平衡语料库

该语料库是由国家语言文字工作委员会主持，面向语言文字信息处理、语言文字规范和标准的制定、语言文字的学术研究、语文教育以及语言文字的社会应用，总体规模达1 亿字，语料时间跨度为1919-2002年，收录了人文与社会科学、自然科学及综合三个大类约40个小类的语料（http://www.cncorpus.org）。其中标注语料库为国家语委现代汉语通用平衡语料库全库的子集，该子集是按照预先设计的选材原则进行平衡抽样，对语料进行分词和词类标注，并经过三次人工校对，最后得到约5000万字符的标注语料库。

02北京语言大学语料库中心BCC语料库

BCC语料库（http://bcc.blcu.edu.cn）是以汉语为主，兼有英语、西班牙语、法语、德语、土耳其语等语言的语料库，其中汉语语料规模约150亿字，涵盖了报刊、文学、微博、科技、综合和古汉语等多领域语料。BCC语料库包括了生语料、分词语料、词性标注语料和句法树，目前已对现代汉语、英语、法语的语料进行词性标注。

03清华TH语料库

清华TH语料库（http://www.openslr.org/18）于1994年6月建成，其总库根据对语料加工深度的不同采用分级管理的原则，分成了生语料和熟语料两大类，其中0级生语料分库涵盖了一般书、报纸、论文、杂志、工具书等五类子库语料素材。经过近年来不断的升级和更新，已更名为THCHS-30语料库。

04北京大学CCL语料库

CCL语料库（http://ccl.pku.edu.cn:8080/ccl_corpus/index/jsp?=xiandai）中包含现代汉语语料、古代汉语语料两类单语语料，涉及的文献时间从公元前11世纪到当代。其中现代汉语语料约６亿字符，涵盖了文学、戏剧、报刊、翻译作品、网络语料、应用文、电视电影、学术文献、史传、相声小品、口语等多个类型。CCL语料库中古代汉语语料约2亿字符，收录了从周代到民国的语料及大藏经、二十五史、历代笔记、十三经注疏、全唐诗、诸子百家、全元曲、全宋词、道藏、辞书、蒙学读物等的杂类语料。除了两大单语语料库的扩容外，近年来CCL语料库还融入了一些专题语料库，例如：早期北京话材料、留学生汉语作文语料、汉语构式语料库、中文学术文献语料库、海外华文网络语料等等。

05人民日报标注语料库

该语料库是我国第一个大型的现代汉语标注语料库，以《人民日报》1998年的纯文本语料为基础，完成词语切分、词性标注、专有名词标注、语素子类标注、动词和形容词特殊用法标注、短语型标注等加工工作，现已扩充至3500万字的规模。后来北京大学计算语言学研究所在此基础上完成了另外100万字语料的词语切分、词性标注和汉语拼音标注的加工任务，还利用所研制的《现代汉语语义词典》、参照《现代汉语词典》，根据语料实际使用情况对词义描写进行调整，研发了一个大规模、高质量的现代汉语词义标注语料库（Chinese Word Sense Tagging Corpus,STC）。

为了弥补北京大学人民日报语料库用于处理当前文本时的不足，2019年开始南京农业大学人文与社会计算研究中心以2015年至2018年《人民日报》发表的文章为对象，构建了新时代人民日报语料库（简称NEPD,http://corpus.njau.edu.cn/），目前该语料库涵盖了《人民日报》2015 年1-5 月、2016年1月、2017年1月、2018 年1月共9个月的分词语料，并且后续将不断补充最新语料。

06清华汉语树库（TshinghuaChineseTreebank,TCT ）

该语料库从包含文学、学术、新闻、应用四大体裁的200万汉字平衡语料库中提取了100万汉字规模的语料文本，经过自动断句、句法分析后再进行人工校对，形成了有完整句法结构树的汉语句法树库语料。

汉英双语平行语料库

07中国科学院汉英平行语料库

中国科学院汉英平行语料库是在对中英文篇章对齐的双语文本进行段落对齐、句子对齐加工后建立的一个句子级对齐的双语语言信息和知识库，该语料库借助互联网等其他媒体搜集中英文篇章级对齐的双语文本，面向多领域多体裁，采用基于双语辞典的句子对齐方法进行了文本对齐，并对双语文本句子对齐结果实现自动评价。

08南京大学双语词典研究中心英汉双语平行语料库（NJU_BDRCBC）

该语料库的总体规模共约200万对英汉平行句对，英语和汉语词例数高达2亿词次，其素材一方面来源于南京大学双语词典中心拥有自主知识产权的双语辞书标准数据以及英汉双语对照文献，另一方面也面向网络获取了大量的英汉双语平行对语料。南京大学双语词典研究中心还跟商务印书馆联合开发了CONULEXID（The Commercial Press and Nanjing University Lexical Database）英汉语言资料库，该语料库系统于1994年正式开始创建，并于1997年通过验收。

09清华大学中英平行语料库

清华大学中英平行语料库（http://thumt.thunlp.org/）由清华大学自然语言处理与社会人文计算实验室在国家“863 计划” 项目“ 互联网语言翻译系统研制” 的支持下，利用自身研发的互联网平行网页获取软件和双语句子自动对齐软件获取并处理得到的，共包含285万中英平行句对。

其他汉外平行语料库

10北京大学计算语言研究所双语平行语料库

该语料库为大型汉英、汉日双语语料库，包含汉英句子级对齐语料20万句对、汉日句子级对齐语料2万句对、汉英词汇级对齐语料1万对，旨在为机器翻译等应用系统的研发提供基础资源和标准的评测语料。

11北京外国语大学双语平行语料库

由王克非负责构建的汉英和汉日两个平行语料库目前仍在建设中。该语料库包括2000万字的日汉对译文本语料库和3000万字词的通用型汉英平行语料库两个部分。目前2000万字的日汉对译文本语料库的平行对应语料分为文学与非文学、汉译日和日译汉存放，做到段落级对齐，运用所研制的检索工具可对汉日语料做各种词语、短语、句型和搭配上的检索。通用型汉英平行语料库分为，“百科语料库”“翻译文本库”“双语语句库”以及“专科语料库”四个子库，目前3000万字词语料已基本做到句级对齐，其中2000万字词语料已完成最终校对、标注、双语链接。

12南京农业大学典籍平行语料库

基于十三经、《战国策》、前四史等典籍及其所对应的白话文和英文翻译，南京农业大学王东波结合深度学习相应模型设计了句对齐的算法，实现了古文句子与白话文和英文的对齐，并对古文、白话文和英文进行了分词、词性和实体标注，形成了独具特色的典籍平行语料库。

其他特色语料库

13汉语中介语语料库

汉语中介语语料库（http://qqk.blcu.edu.cn/#/login）由北京语言大学（原北京语言学院）于1992年开始建设。该语料库立足于汉语教学已收录1635位外国学生共5774篇成篇成段的汉语作文或练习材料，总字数约353万，其中1731 篇约104万字的语料经过断句、分词和词性标注等加工处理。目前该全球汉语中介语料库仍处于努力建设过程中，北京语言大学仍然努力于建设全球汉语中介语语料库，其规模预计达5000万字，包括笔语语料、口语语料和多模态子库。笔语语料规模预计达4500万字，其中2000万字将加工成为熟语料；口语语料450小时，约合400万字；多模态语料110小时，约合100万字。

14HSK动态作文语料库

该语料库（http://hsk.blcu.edu.cn/Login）收录了1992-2005年部分母语非汉语的外国人参加高等汉语水平考试（HSK高等）的作文考试的答卷语料，2006年12月上线语料库1.0版本，现已上线语料库2.0版本，语料总数达11569篇，共计424万字。除此之外，北京语言大学还建立了首都外国留学生汉语文本语料库、汉语学习者口语语料库等多种类型的汉语语料库。北京语言大学多个语料库的问世及相关的研究成果激励了更多学者和单位投入到教学导向的语料库的建设中，已知语料库有：中山大学建立的留学生中介语语料库、汉语连续性中介语料库、广东外语外贸大学与兰卡斯特大学联合建立的Guangwai Lancaster汉语学习者语料库等。

15中国传媒大学有声媒体文本语料库

该语料库（http://ling.cuc.edu.cn/Raw-Pub/）由中国传媒大学国家语言资源检测与研究有声媒体中心开发，2003年开始建设，2005年上线，其后不断扩大语料规模，并于2016年进行了第三次改版。该语料库包括2008-2013年的3万多个广播、电视节目的转写文本，总字符数达到2.4 亿个，并对所有文本进行了自动分词和词性标注。

16名著汉英平行语料库

《红楼梦》汉英平行语料库是国内第一个根据译者选用原底本所做的句级对齐平行语料库，它的成功发布可为“红学” 不同英译本的研究提供客观科学的平台，为翻译教学提供丰富的资源，为翻译理论探讨提供基本素材。莎士比亚戏剧英汉平行语料库由上海交通大学的学者研究构建，容量约600万字词。该语料库由英文原文和三个版本的译文构成，在分词的基础上实现了词性标注，以及人物对话层面的对齐，该库可以展开一对一及一对多的平行检索，为莎剧翻译研究和语言研究提供了宝贵资源。

17少数民族语言语料库

除了汉语相关语料库之外，国内少数民族语言语料库的构建研究工作也正在逐步发展，尤其是蒙古族、维吾尔族、藏族等几个少数民族的语料库。现代蒙古语语料库，由内蒙古大学蒙古语文研究所于1998年构建完成，总规模达5000万词，涵盖了文科教材、理科教材、文学、新闻、政治、社会科学、自然科学、口语等类型语料。内蒙古大学蒙古语文研究所在2003年开始建设汉蒙双语语料库，该语料库总规模达10万个句对，为蒙古文信息处理、语言教学、汉蒙双语研究和汉蒙双语词典的编纂等工作的发展奠定了基础。现代维吾尔语语料库，由新疆大学于2002年开始建设，生语料规模达800万词。西藏大学大型藏文语料库，总规模高达1.5亿藏文字符，其中3000万藏文字符经过分词和词性标注加工。除此之外，还有200万词的新疆师范大学维吾尔语语料库、规模约1亿3千万字节的西北民族大学大型藏文语料库、500万藏语字符的中国社会科学院民族学语人类学研究所藏语语料库等。

国外语料库

BCC语料库：http://bcc.blcu.edu.cn/

BNC——英国国家语料库（British National Corpus）：http://www.natcorp.ox.ac.uk/

BOE——柯林斯英语语料库（the Bank of English）：http://www.collinslanguage.com/wordbanks/

联合国文件数据库（提供80万份六种语言平行文档）http://documents.un.org/simple.asp

ANC——美国国家语料库（American National Corpus）:http://www.anc.org/

兰开斯特汉语语料库 (LCMC) http://ota.oucs.ox.ac.uk/scripts/download.php?otaid=2474

OLAC语言开发典藏社群（Open Language Archives Community）http://search.language-archives.org/index.html

COCA———美国当代英语语料库(Corpus of Contemporary American English)
http://www.americancorpus.org/

COHA——美国近当代英语语料库（Corpus of Historical American English）：http://corpus.byu.edu.coha/

SKETCHENGINE多语言语料库：
www.sketchengine.co.uk

BASE——英国学术口语语料库（British Academic Spoken English Corpus）：http://www2.warwick.ac.uk/fac/soc/celte/research/base/