开源数据总量逾2TB,多模态语料“书生·万卷”发布
本文转自:人民日报客户端
沈文敏
继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”,上海人工智能实验室于8月14日宣布,联合语料数据联盟成员单位,共同开源发布“书生·万卷”1.0多模态预训练语料。
“书生·万卷”1.0目前包含文本数据集、图文数据集、视频数据集三部分,本次开源的数据总量超过2TB。该语料数据包含超过5亿个文本,2200万个图文交错文档,1000个节目影像视频,具备多元融合、精细处理、价值对齐、易用高效等特征。其中,文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料,数据大小超过1TB,覆盖科技、文学、媒体、教育、法律等领域。图文数据主要来自公开网页,经处理后形成图文交错文档,数据大小超过140GB(不含图片),覆盖新闻事件、人物、自然景观、社会生活等领域。视频数据主要来自中央广播电视总台和上海文广集团,包含新闻、影视等多种类型的节目影像,数据大小超过900GB,内容覆盖军事、文艺、体育、自然、真实世界、知识、影像艺术、媒体、美食、历史、科教等方面。