Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?
2025-07-11 08:58:30 - 风集榜
昨天一早,榜作弊引Meta 了放出自家用了 20 万显卡集群训练出的热议 Llama 4 系列模型,其中包括 Llama 4 Scout、卡集抖音素人美女社群录音外泄合集Llama 4 Maverick 和 Llama 4 Behemoth。榜作弊引消息一出,热议直接引爆了大模型圈。卡集
Meta 还特意强调,榜作弊引这些模型都经过了大量未标注的热议文本、图像和影片信息的卡集训练,视觉理解能力已经到了 Next level,榜作弊引有种在大模型领域一骑绝尘的热议既视感。
Meta GenAI 负责人 Ahmad Al-Dahle 也表示:“我们的开放系统将产出最好的小型、中型和即将出现的热议前沿大模型。”并附上了一张 Llama 4 的卡集性能对比测试图。
紧接着,在大模型竞技场中 Llama 4 Maverick 的抖音素人美女社群录音外泄合集排名直接跃升到第二名,成为了第 4 个突破 1400 分的大模型。在开放模型排行榜上更是超越了 DeepSeek,直接上桌坐“主座”。
“首次采用 MoE 架构”、“千万 token 上下文”...一时间 Llama 4 就被贴满了各种 Title。
但在一片赞美和吹捧声中,很快就有心细的网友发现了不对劲。这位网友用头段时间在 ? 上很火的让模型直出几何程序的方式来测试 Llama 4,但最终的结果是在画六角形内含一个受重力作用球的集合图像时,Llama 4 试了 8 次也错了 8 次,而反观 DeepSeek R1 和 Gemini 2.5 pro 则是一次正确。
也有网友表示对 Llama 4 的表现感到非常失望。按照以往惯例,更新了版本号的模型在性能上应该有很大的突破,而 Meta 憋了这么久才舍得放出来的 Llama 4 非但没有进步,在测试中的表现还不如一些现有的大模型。
还有网友非常贴心的给出 Llama 4 系列的模型能力找了个参照物:“Llama 4 maverick 这个 402B 的大模型,大概跟 Qwen QwQ 32B 写代码水平一致,而 Llama 4 scout 则近似于 Grok2 或者 文心 4.5。”
Llama 4:超级刷榜选手
在官方给出的信息中,Llama 4 的能力妥妥碾压了一众大模型,但在网友们的实际测试中,Llama 4 却显得很拉跨,越测越觉得离谱的网友们不由得怀疑,扎克伯格是不是给自家模型偷偷刷榜了?
经过网友们的多方证实,最后发现,嘿!还真是刷的。
其实如果认真看 Ahmad Al-Dahle 发布的 Llama 性能对比测试图最下面一行的小字,你就会发现上面写着“Llama 4 Maverick 针对对话进行了优化”,而 Meta 其实早就给自己留了个“图片仅供参考,一切以实物为准”的心眼。
除了破解 Meta 官方的字谜游戏外,网友们也带着 Llama 4 进出于各大测试榜单中。
他们先是把 Llama 4 拉到了著名的 code 测试榜单 Aider ployglot 中,最终的得分比 qwen-32B还低。
在另一个代码评测榜单中,Llama 4 的成绩也只能排在中间位置。
除此之外,网友们发现在 EQBench 测评基准的长文章写作榜上,Llama 4 系列也是直接垫底。
而即使是最基础的翻译任务,网友们也表示 Llama 4 的表现也是比 3.3 的 70b 还要差得多,甚至还不如 Gemma 3 的 27B。
混乱的 Meta
正在网友们风风火火测评 Llama 4 的真实成绩时,一则发布在海外的求职平台一亩三分地上的内容更是直接给Llama 4 的作弊传闻填了一把柴。
文中提到 Llama 4 的训练存在严重问题,并且内部模型的表现仍然未能达到开源 SOTA,甚至与之相差甚远,而 Llama 4 的高分也确实是领导层为了能够在各项指标上交差所做出的“努力”。而这个则消息的爆料者,很可能来自 Meta 公司内部。
除此之外也有其他的 AI 从业者在线吐槽,表示“我们都被耍了,Llama 4 不过是一个早早被设计好的实验版本。”
还有前 Meta 员工站出来指出公司在产物研发方面存在巨大漏洞,并表示 Llama 系列模型的信息泄露问题其实从 Llama 1 就已经存在了。
而在 Llama 4 发布的几天前,Meta AI 研究副总裁 Joelle Pineau 就在 Linkedin 发文称自己已经申请将在 5 月份离职,不由得让人们将这件事与 Llama 4 作弊刷榜的事情联系到一起。
不少人疑惑,为什么一向崇尚“大力出奇迹”的 Meta 这次的翻车力度这么大,明明有钱、有卡、有信息,但模型创新能力依旧不足,还要靠作弊刷榜来找存在感?
一个坊间流传的观点是,Meta内部研究人员压力过大,因为他们需要做出成果,给公司一个好的交代,因此会求稳,更加偏向于更能做出成果的事情,而真正关键的内容,比如基础设施的迭代、新运算规则的实验,这些需要大量时间去做出成果的内容,却往往没有人愿意去做。
这也导致了 Meta 很难在大模型市场上继续做出向 DeepSeek R1 这样轰动整个 AI 领域的东西,而还没有发布的超大杯 2T 参数模型也应证着这个观点:Meta 其实还没有更好的想法。
反观以研究为导向的 DeepSeek,其实一直在探索新的架构。DeepSeek 团队先是提出了强化学习里的神奇运算规则 GRPO,紧接着在 DeepSeek v2 时提出的 MLA 原理直接沿用到了 DeepSeek V3 和 DeepSeek R1 版本上,后来发布的全新注意力架构 NSA 更是实现了超高速长上下文训练与推理。
回到 Llama 4 这边,根据AI科技评论的了解,对大模型架构有研究的专业人士认为,Llama 4 非常缺乏工艺创新,比如说,在后训练阶段还在死守DPO。而此前的一系列理论和实验都表明 DPO 的泛化能力,“比PPO差得远”。PPO在实际使用中需要调的细节很多,不易上手。在DeepSeek提出GRPO以后,越来越多的研究者开始使用GRPO及其改版。 Meta 还继续坚持用着 DPO 而不选择创新,这么来看 Llama 4 做成如此也属于意料之中。
常人没法用,专家用不着
而最让人失望的是,Llama 4 系列的模型都无法放入家用电脑,并且 Llama 4 除了一直在宣传的 10M 上下窗口外,貌似已经没有任何优势,而这一点对于大多数人来说其实并不是必需的内容。
除此之外,GPT 4o, Gemini 2.5 Pro 这些拥有生图能力的模型型号已经正式推出,而 Grok3、Gemini 2 Flash 等多模态模型也已经开始广泛开放,这也意味着更多的人没有再用 Llama 4 的理由,或者说,Llama 4 本身没有太强的市场竞争力。
反观这次 Llama 4 的翻车事件,不难看出其实 Llama 4 系列模型很可能是 Meta 在追赶大模型潮流的战略布局中的一枚关键棋子,但却因为太过于“急功近利”而选择作弊,导致直接失去了社区的支持,进而失去了自身的竞争优势。
并且 Llama 2、Llama 3 的时代已经过去,选择 Llama 作为基座的开源模型只会越来越少,雷峰网(公众号:雷峰网)认为对于 Meta 来说,与其选择作弊刷榜博眼球,不如想想如何创新,如何提高社区适用度,能不能追上最前端的工艺暂且放一边,最关键的是先把口碑先赚回来。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
- END -
共襄学术盛宴,共话产业发展,2024中国图象图形大会在西安圆满落幕

2024年5月24-26日,中国图象图形大会CCIG 2024)在西安隆重召开。本次大会由中国图象图形学学会主办,空军军医大学、西安交通大学、西北工业大学承办,陕西省生物医学工程学会、陕西省图象图形学
大模型助力企业数据驱动,火山引擎数智平台发布 AI 助手

9月19日,火山引擎在其举办的“V-Tech数据驱动科技峰会”上宣布,火山引擎数智平台VeDI推出“AI助手”,通过接入人工智能大模型,帮助企业提升数据处理和查询分析的效率。即使是不会写代码的运营人员
产业跑进数字世界,要先迈过安全这道坎

当数字化转型成为时代的浪潮,企业的发展已经无法脱离数字行为、单打独斗。各类商业场景与链接的裂变与新生,驱动产业协作数字化的不断升级。与此同时,参与数字活动的安全与风险,也成为企业融入新产业协作模式的阻
万兴科技正式布局AIGC赛道 首款AIGC产品万兴AI绘画开启公测

11月10日,2022全球元宇宙大会“数字人技术与应用场景专场论坛”举办,元宇宙创作者经济A股上市公司万兴科技300624.SZ)在论坛中正式宣布与优链时代达成战略合作。结合万兴科技在视频领域的长期积
女子自曝怀孕期间摆烂上班丈夫是市副处?官方通报

红河县联合调查组7月9日通报,近日,网传“红河县文旅局一员工自曝孕早期请假数月”,红河县纪委监委、县委组织部、县人社局等部门组成联合调查组开展调查。经调查,发帖人为红河县文旅局事业人员杨路某某,于20
独家|前百度搜索老将赵世奇从华为离职,回归百度

雷峰网(公众号:雷峰网)独家获悉,近日,前华为终端云服务搜索与地图BU总裁赵世奇离职,已在年前回归百度,负责百度搜索业务——将AI技术在搜索中应用落地,做产品创新。赵世奇是一名老百度人,在2010年博
AI Infra 往事之异构计算篇:吴韧与他的学生们

2013年9月底,吴韧受百度邀请,以杰出科学家的身份加入百度深度学习研究院IDL),此时正值他五十知天命的年纪。吴韧在人工智能领域耕耘多年,当时已是一名顶尖的AI计算科学家。2012年深度学习崛起前后
为每个用户提供专属定制服务,OPPO 安第斯大模型的新卷法

作者丨郭 思编辑丨陈彩娴ChatGPT热潮引发的百模大战,在持续了大半年之后,模型的参数已经卷到极限,越来越多的公司开始意识到,百模大战的下半场,落地应用才是值得卷的地方。而当聚光灯打在OPPO这个手
万兴科技正式布局AIGC赛道 首款AIGC产品万兴AI绘画开启公测

11月10日,2022全球元宇宙大会“数字人技术与应用场景专场论坛”举办,元宇宙创作者经济A股上市公司万兴科技300624.SZ)在论坛中正式宣布与优链时代达成战略合作。结合万兴科技在视频领域的长期积
为每个用户提供专属定制服务,OPPO 安第斯大模型的新卷法

作者丨郭 思编辑丨陈彩娴ChatGPT热潮引发的百模大战,在持续了大半年之后,模型的参数已经卷到极限,越来越多的公司开始意识到,百模大战的下半场,落地应用才是值得卷的地方。而当聚光灯打在OPPO这个手
GAIR 2023 正式开幕:AI 如此绽放之时,昭示着熙春已至

8月14日,新加坡,大厦起伏如丘,树木葱茏,云卷云舒,风也是清新的。建立在大模型技术爆炸时代语境下的第七届GAIR全球人工智能与机器人大会,正式在新加坡乌节大酒店举办。大会共开设10个主题论坛,聚焦大
美图视觉大模型3.0:让设计师做甲方

作者:郭思编辑:陈彩娴ChatGPT之前,国内最近一次的AI热潮是以“AI四小龙”的发展为代表,但这些公司烧钱程度与落地产出的不匹配,令市场倍感失望。时间来到2023年, 在ChatGPT 出来之后,