上海人工智能实验室发布多模态语料
2023-08-16 18:12:31 来源:人民日报
(相关资料图)
本报上海8月15日电(记者沈文敏)近日,上海人工智能实验室宣布联合语料数据联盟成员单位,共同开源发布“书生·万卷”1.0多模态预训练语料。
“书生·万卷”1.0集合了语料数据联盟成员丰富的内容积累与上海人工智能实验室的数据处理能力等优势,将为学术界及产业界提供高质量大模型多模态预训练语料。本次开源的数据总量超过2TB,具备多元融合、精细处理、价值对齐、易用高效等四大特征。
本次开源的“书生·万卷”1.0包含文本、图文、视频三部分数据集。其中文本数据来自网页、百科、书籍、专利、教材、考题等,数据总量超过5亿个文档,数据大小超过1TB,覆盖科技、文学、媒体、教育、法律等多个领域;图文数据主要来自公开网页,经处理后形成图文交错文档,总量超过2200万个,数据大小超过140GB(不含图片),覆盖新闻事件、人物、自然景观、社会生活等多个领域;视频数据主要来自中央广播电视总台和上海文广集团,包含新闻、影视等多种类型的节目影像,总计视频文件数超过1000个,数据大小超过900GB,内容覆盖军事、文艺、体育、自然、知识、影像艺术等方面。
《 人民日报 》( 2023年08月16日 12 版)
标签:
相关阅读
精彩推荐
- 上海人工智能实验室发布多模态语料2023-08-16
- 京东物流:上半年亏损约5.29亿元,同比减亏2023-08-16
- 绿城中国(03900.HK)8月16日收盘跌0.51%,2023-08-16
- 美丽中国新画卷·守护绿水青山 新疆麦盖提2023-08-16
- 西藏日土:夏日班公湖碧波潋滟2023-08-16
- 2023中秋国庆放假通知,连休8天,3个好消息2023-08-16
- 高尔夫尊中国(室内)公开赛:以数智竞技,2023-08-16
- 以赛聚英、以赛育才,第五届浦东新区长三角2023-08-16
- 星火成炬 | 硬核救援“黑科技”2023-08-16
- 沿着大运河看中国丨从运河原点城市出发 感2023-08-16
- 沿着大运河看中国|江都水利枢纽护送一江清2023-08-16
- 新疆图木舒克 引洪灌溉 42万亩胡杨林“喝2023-08-16
- 美丽中国新画卷 新疆沙雅 阿不力克木·居2023-08-16
- 美财长耶伦回忆访华吃菌子经历:我们所有人2023-08-16
- 瑜伽学院 电影(关于瑜伽学院 电影的基本2023-08-16
- 挪威主权财富基金上半年回报率10%,美国科2023-08-16
- 国海证券股份有限公司上调贝斯特评级2023-08-16
- 甘源食品董秘回复:截止8月10日,公司的股2023-08-16
- 涨停雷达:数据要素个股异动 安妮股份触及2023-08-16
- 广信股份: 具体情况您可以通过上交所网站2023-08-16
- 豪恩汽电董秘回复:本公司是一家专注于汽车2023-08-16
- 宜兴、常熟获批建设国家级知识产权快速维权2023-08-16
- 风机橡胶软接头制作过程2023-08-16
- 大厂秋招又起:为什么“ATMD”成第一梯队2023-08-16
- 天誉置业(00059.HK)将于8月31日举行董事会2023-08-16
- 发展壮大节水产业新业态2023-08-16
- 登陆央视1套,看仰韶的“大国品牌”之路!2023-08-16
- 广东省政府日前组织房企开会 多位地产央2023-08-16
- 东威科技董秘回复: 报告中的销售收入就是2023-08-16
- 开拓药业-B(09939.HK)急涨逾12%,截至发稿2023-08-16