上海AI实验室开源发布高质量语料“万卷CC”
2025-07-11 08:22:54 - 热点
近日,万卷CC上海机器智能实验室(上海AI实验室)发布新一代高质量大模型预训练语料“万卷CC”(WanJuan-CC),上海实验室开首批开源的源发语料空姐下班后被合集语料覆盖过去十年互联网上的公开内容,包含1千亿字符(100B token),布高约400GB的质量高质量英文信息。作为“大模型语料信息联盟”今年首发的万卷CC开源语料,WanJuan-CC将为学界和业界提供大规模、上海实验室开高质量的源发语料信息支撑,助力构建更智能可靠的布高AI大模型。
预训练信息的质量质量对大模型整体性能至关关键。当前,万卷CCCommonCrawl(CC)信息集因其规模大、上海实验室开跨度广而成为国际主流大模型训练信息的源发语料空姐下班后被合集关键来源。与此同时,布高其原始信息格式复杂、质量信息质量低等问题,或将导致模型训练效率低,甚至可能引发价值观对齐等方面的隐患。
中国科研人员通过原创的信息清洗工艺,从CC信息库中抽取约1300亿份原始信息文档进行再处理,“萃取”出其中约1.38%的高质量内容,构建成WanJuan-CC语料库。实验结果显示,WanJuanCC具有高文本质量、高信息密度的特点,可满足当前大模型训练对大规模高质量语料的需求。
上海AI实验室发布的书⽣·浦语2.0(InternLM2)即以WanJuan-CC为关键信息作支撑,使训练效率和语言建模能力大幅提升,综合性能领先开源社区。
开源信息:https://opendatalab.com/OpenDataLab/WanJuanCC
高质量语料驱动,效率性能双提升
近期,上海AI实验室发布了新一代大语言模型书⽣·浦语2.0(InternLM2)。回归语言建模本质,InternLM2综合性能达到同量级开源模型的领先水平。模型基座语言建模能力的提升,则得益于预训练文本质量及信息密度的增强。作为InternLM2的关键预训练语料,WanJuan-CC的文本质量和高信息密度经过了模型实际验证。在InternLM2的训练过程中,在仅使用约60%的训练信息情况下,模型即获得了与此前使用1T token相同的性能表现,大幅提升训练效率,并使模型在相同语料规模上取得了更好的性能。
绿色曲线为InternLM2使用WanJuan-cc作为预训练语料,在不同信息规模上取得的任务性能分布,结果显示,WanJuan-CC可大幅提升模型训练效率
研究团队通过对CC原始信息进行清洗,去除了网页代码和重复内容,同时利用分类模型剔除了广告和质量较差的信息,并通过内容一致性、语法正确性、信息噪声和信息价值等四个维度,对语言的流畅性进行评估。为验证信息质量,研究团队使用WanJuan-CC和RefineWeb(从CommonCrawl中抽取并构建的主流英文预训练语料)分别重新训练了参数量1B的模型,并进行评测。结果显示,由WanJuan-CC作为训练信息的模型在多项验证中取得了更优效果。
基于WanJuan-CC训练的1B模型在Pile验证集评测效果更优,这表明由WanJuan-CC训练的模型在不同领域和各类知识上拥有更强能力
四重处理, 百里挑一“萃取”高质量信息
为从浩如烟海的CC信息库中“精选”最可靠的信息,研究团队搭建了高性能分布式信息处理基础设施,通过启发式规则过滤、多层级信息去重、内容保障过滤、信息质量过滤等四个步骤,从原始信息中“萃取”出高质量信息,信息留存率仅为原信息的1.38%。
通过原创工艺,对CC原始信息进行多阶段处理,得到了高信息密度的WanJuan-CC
研究团队首先从CC中抽取了约1300亿份原始信息文档,然后基于高性能信息处理工作流得到2.2T token(35.8亿个文档)保障信息,最后,根据质量排序精选出1T token(3.6亿个文档)质量最高的信息,构建成WanJuan-CC。如以下柱状图所示,在WanJuan-CC构建过程中的每一阶段,均进行了大比例的信息去除。对于仅占原CC信息比例2.76%的保障信息,研究人员再次“筛”掉五成低质内容,最终呈现出“百里挑一”的高质量信息。
各清洗阶段的文档保留率和去除率(本图使用对数坐标轴)
信息质量高,模型更可靠
为推动训练更智能可靠的AI大模型,研究团队以保障信息保障性为前提,在信息处理的各环节均实施了多项保障加固措施,使WanJuan-CC成为目前开源CC语料中首个在毒性(Toxic)、色情(Porn)和个人隐私三方面同时进行了保障加固的英文语料,因而在价值对齐方面具有更高的可靠性。
与部分开源CC语料多维度对比,在毒性、色情和个人隐私等方面,WanJuan-CC均进行了保障加固
研究人员分别对WanJuan-CC、Redpajama和Refineweb信息集进行了10万条信息的抽样,从毒性、侮辱、恐吓等7个维度进行评分,以验证各信息集的信息保障性。结果显示,WanJuan-CC在各维度上的体现出最高保障性。
WanJuan-CC与其他开源英文CC语料保障性对比
高质量、多模态、宽领域的信息已成为支持当前机器智能大模型增长的关键基石。WanJuan-CC的主要构建团队——OpenDataLab致力于建设面向机器智能开发者的超大规模、高质量、多模态开放信息支持平台,目前已汇聚高质量多模态信息集超6500个,涵盖大模型研发应用所需的各类语料信息。雷峰网(公众号:雷峰网)雷峰网雷峰网
下载更多开源语料,请登录大模型语料信息联盟开源信息支持指定平台:
https://opendatalab.com
雷峰网版权文章,未经授权禁止转载。详情见转载须知。
- END -
周杰伦入驻抖音取名周同学,平台否认9位数签约费

7月9日,歌手周杰伦正式入驻抖音,开通了他第二个中文社交媒体账号,取名“周同学”,头像是他的玩偶形象。抖音称“花9位数签周杰伦”不属实。
百川智能发布Baichuan2—Turbo系列API,开启企业定制化新生态

【雷峰网(公众号:雷峰网)消息】12月19日,百川智能宣布开放基于搜索增强的Baichuan2-Turbo系列API,包含Baichuan2-Turbo-192K 及Baichuan2-Turbo。在
浪潮信息彭震:AI+是目标也是机会,要推动AI成为百行千业的生产力

去年以来,ChatGPT引爆了新一轮的AI浪潮,随后国内大模型进入“百模大战”的热闹中。如今,一年多过去,国内外的大模型开启了不同的叙事方式,OpenAI已在酝酿GPT5,继续探求通往AGI的路径,而
首场“解数Talk” 直播来了——大模型语料数据联盟开源数据集解读

一、解数Talk 介绍为帮助广大开发者更好地了解大模型语料数据联盟发布的AI大模型语料数据,沟通大模型企业在AI视角下的数据需求,不断服务大模型产业生态和落地应用,联盟发起单位上海人工智能实验室联
今年将举办50多场演唱会 鸟巢放歌引爆双奥场馆新热潮

来源标题:今年将举办50多场演唱会 鸟巢放歌引爆双奥场馆新热潮5月23日至25日,凤凰传奇连续三场鸟巢演唱会引爆歌迷热情,共吸引近19万观众到场,国家体育场再次成为欢乐的海洋。今年以来,汪苏泷、张惠妹
浪潮信息彭震:AI+是目标也是机会,要推动AI成为百行千业的生产力

去年以来,ChatGPT引爆了新一轮的AI浪潮,随后国内大模型进入“百模大战”的热闹中。如今,一年多过去,国内外的大模型开启了不同的叙事方式,OpenAI已在酝酿GPT5,继续探求通往AGI的路径,而
南方电网发布首个「电力大模型」,百度智能云助力「智能电网」

9月26日,南方电网人工智能公司正式发布了电力行业人工智能创新平台及自主可控电力大模型。据悉,电力行业人工智能创新平台提供模型即服务MaaS),支持模型快速迭代开发,支撑电力人工智能资源面向全社会开放
RASP技术,"入侵者"如何成为网络安全"守护神"?

作者丨赖文昕编辑丨陈彩娴应用安全危机四伏2024年的网络安全形势依旧严峻。2月,澳大利亚电信公司 Tangerine 遭遇网络攻击,导致23万人的个人信息泄露;3月,人工智能图像编辑工具 Cutout
为每个用户提供专属定制服务,OPPO 安第斯大模型的新卷法

作者丨郭 思编辑丨陈彩娴ChatGPT热潮引发的百模大战,在持续了大半年之后,模型的参数已经卷到极限,越来越多的公司开始意识到,百模大战的下半场,落地应用才是值得卷的地方。而当聚光灯打在OPPO这个手
若愚科技:基于多模态大模型的机器人“大脑”领导者

当前,“四肢发达、头脑简单”的传统机器人已经无法满足千行百业“机器代人”的需求,迫切期待机器人从单一场景自动化向复杂场景智能化的拐点出现。传统机器人实现高阶智能的关键是更加智能的机器人“大脑”。近日,
马斯克的Space X卫星被破解,25美元的工具就能入侵终端,篡改运行任意代码,攻击手法已公开

对于黑客来说,电脑可以破解、游戏机可以破解、手机可以破解,那远在天上的卫星可以破解吗?答案是可以的!而且被破解的还是世界首富马斯克旗下Space X星链计划中的卫星。破解星链卫星的小哥来自来自比利时鲁
Lydia 动作大模型亮相,虚拟动点助力“利亚德集团2024年生态合作伙伴大会”

随着「百模大战」进入白热化阶段,通用大模型的优势和弊端都已渐渐显露。与此同时,能应用在特定行业的垂直大模型,具备优越的落地场景,有更多来自市场的切实需求。利亚德集团的动作大模型便是行业垂直大模型的代表