苹果大模型最新论文:AFM 模型多维度评测「出炉」
2025-07-11 08:15:31 - 全闻
编译 | 朱可轩
编辑 | 陈彩娴
不久前,苹果苹果在全球开发者大会(WWDC)上推出了最新个人智能系统 Apple Intelligence,大模多维度评可以深度集成到 iOS 18、型最新论上海大学门事件价格iPadOS 18 和 macOS Sequoia 中,模型引起了 AI 业内人士、测出尤其是苹果端侧智能领域的讨论。
苹果在 2024 年的大模多维度评一系列工艺动作,被戏称为苹果为端侧 AI 所设计的型最新论“开卷考试”,即:大模型时代,模型AI 工艺应如何在手机、测出平板等端侧设备上运营,苹果让手机变得更智能?大模多维度评
近日,苹果团队又在 arXiv 上更新了关于 Apple Intelligence 的型最新论最新论文,其中介绍了苹果用在 Apple Intelligence 上的模型两个基础语言模型,包括:一个在设备端运行的测出上海大学门事件价格大约 30 亿参数的语言模型 AFM-on-device,以及一个在私有云端服务上运行的大规模支持器语言模型 AFM-server。
论文链接:https://arxiv.org/pdf/2407.21075
根据该论文,苹果开发的端侧大模型在语言理解、指令跟随、推理、写作与工具使用等多个任务上都有出色表现。同时,在保护客户信息隐私与保障上,苹果强调在后训练阶段不会使用客户的个人信息进行训练。
结果显示,苹果的 AFM 模型在指令遵循层面皆优于其他大模型,同时,从写作写作能力来看,在摘要总结方面,AFM 模型无论是端侧还是私有云也均要好于其他。而在保障性评估时,AFM 模型也比其他模型要更为负责。但是值得一提的是,AFM 模型的数学能力整体上来看较为一般。
研究发现
人类评估
在人类评估中,在端侧,AFM 仅输于 Llama-3-8B ,而与其他模型相比显然更优。据论文介绍,AFM 与 Phi-3-mini 相比,模型尺寸小了 25%,而胜率达47.7% ,AFM 甚至超出参数数量为两倍多的 Gemma-7B 和 Mistral-7B。而在私有云上,与GPT-3.5相比时,AFM 也具有一定竞争力,胜率超 50%。
指令遵循
在指令级(Instruction-level)与提示级(Prompt-level)的评估中,无论是端侧还是私有云上,均为 AFM 模型表现最好。其指令级的得分分别为 85.7% 和 88.5%,而提示级的得分则分别为 79.3% 和 83.0%。
此外,苹果还使用了 AlpacaEval 2.0 LC 和 Arena Hard 作为基准进行评估。在私有云上,这两项测试中均为 GPT-4 的表现最优,其中,在 Arena Hard 测试中,GPT-4 的得分甚至倍超 AFM。在端侧的 AlpacaEval 2.0 LC 测试中,则为 Gemma-7B 评分最优,AFM 模型紧随其后。
工具使用
苹果还测试了在调用工具使用基准测试中 AFM 模型的表现,分别从简单(Simple)、多重(Multiple)、并行(Parallel)、并行多重(Parallel Multiple)、相关性(Relevance)和平均(Average)几个纬度展开。
整体来看,AFM-server 表现较优,从测试结果上来看,在简单、多重、相关性、平均性维度中,AFM-server 均得分最高,分别为91.0、95.5、91.3、89.5。在并行多重维度中,AFM-server 得分 85.0,仅次于 Gemini-1.5-Pro-0514 的 88.0,且领先于 GPT-4 与 GPT-3.5。
但 AFM-on-device 表现则较为一般,在多重、并行多重、相关性及平均维度中,均要稍逊于 GPT-4 和 Gemini-1.5-Pro-0514。除此之外,在并行维度中,AFM-server 和 AFM-on-device 的表现情况则都较为一般。
写作能力分两块,一块是摘要总结,一块是长作文。其中,AFM 模型主要在摘要总结上表现较好,在端侧的表现优于 Mistral-7B、Gemma-7B、Phi-3-mini 与 Gemma-2B,在私有云上则优于 GPT-4、Mixtral-8x22B、DBRX Instruct 与 GPT-3.5:
数学能力上,苹果 AFM 模型的表现则一般,仅在端侧 MATH 基准上高于 Llama-3-8B、Phi-3 mini、Gemma-7B 与 Mistral-7B,GSM8k 是 8-shot、MATH 是 4-shot:
负责任的 AI
在文本摘要总结功能中,苹果团队将 AFM 模型在邮件、信息与通知这三个应用上作了测试,分别从 5 个维度(仇恨言论、歧视、违法、色情、暴力)来评估模型的“好”与“差”。研究显示,苹果的 AFM 模型在“好”维度的表现均高于 Gemma-7B、Phi-3-8B 与 Llama-3-8B:
保障性评测
在有害输出上,苹果 AFM-on-device 的得分为 7.5%、AFM-server 的得分为 6.3%,得分越低、效果越好,远远高于 Gemma-7B、Gemma-7B、Phi-3-mini、Llama-3-8B 与 Mistral-7B(其余得分均在 10% 以上):
在保障提示词上,人类评估,苹果的 AFM-on-device 模型表现优于 Gemma-7B、Gemma-7B、Phi-3-mini、Llama-3-8B 与 Mistral-7B,AFM-server 模型的表现也要远超 GPT-3.5、GPT-4 和 Llama-3-70B:雷峰网(公众号:雷峰网)雷峰网
雷峰网版权文章,未经授权禁止转载。详情见转载须知。
- END -
4天7场演出,上海群文团队在3000米海拔牧场奏响“沪喀协奏曲”

来源标题:4天7场演出,上海群文团队在3000米海拔牧场奏响“沪喀协奏曲”上海群文润疆小分队走进新疆的学校,受到热烈欢迎。 受访者供图5月下旬至6月初,在上海市援疆前方指挥部、市援兵前方指挥部的指导下
专访面壁曾国洋:踩过 1000 次大模型的坑后 ,造一个性能小钢炮

2月1日,刚成立一年的面壁智能发布了两个在海内外大模型领域「炸裂级」的存在——面壁 MiniCPM 2B 旗舰端侧大模型与面壁OmniLMM多模态大模型。MiniCPM 2B 有着当之无愧的「小钢炮」
昆仑万维开源「天工」13B系列大模型,0门槛商用

10月30日,昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列,并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B
“寒冬”还是“拂晓”?第四范式成功上市率先交卷

作者丨孙溥茜编辑丨陈彩娴AI科技评论消息,今天,第四范式以“6682”为股票代码,正式在香港联合交易所挂牌上市。第四范式是从去年年底大模型浪潮兴起以来首家成功上市的国内AI公司。值得注意的是,第四范式
浪潮信息彭震:AI+是目标也是机会,要推动AI成为百行千业的生产力

去年以来,ChatGPT引爆了新一轮的AI浪潮,随后国内大模型进入“百模大战”的热闹中。如今,一年多过去,国内外的大模型开启了不同的叙事方式,OpenAI已在酝酿GPT5,继续探求通往AGI的路径,而
大模型时代的三道鸿沟:数据、成本与想象力

跨入2023年,大模型兴起、诸多公司「跑步进场」的头几个月,大模型一边倒向 C 端类 ChatGPT 的研发,对成本、效率更敏感的企业客户似乎不在关注焦点。然而近两个月,情况发生了变化。基于医疗、金融
李彦宏在百度世界2023:我们即将进入一个AI原生的时代

“大模型带来的智能涌现,这是我们开发AI原生应用的基础。”10月17日,李彦宏在百度世界2023上表示。当天,李彦宏以《手把手教你做AI原生应用》为主题发表演讲,发布文心大模型4.0版本,并带来新搜索
价格战之后,智谱来到商业化的下一站

「雷峰网(公众号:雷峰网)消息」刚刚过去的 5 月里,中国 AI 大模型领域掀起一场价格战,激起行业热议。这次价格战的两股势力分别是互联网大厂和大模型创业公司,以字节、阿里云、腾讯和智谱为主要参战代表
AI推理芯片,大模型「下半场」的入场券

2023是“群模共舞”的元年。先是ChatGPT的横空出世给予众人致命震撼,随后国内诸多AI、互联网公司迅速加大资源投入“练模”。3月,百度发布文心一言,打响了“练模大战”的第一枪。在这场“模型大战”
开源启智,筑梦未来!第四届OpenI/O启智开发者大会开幕

2023年2月24日,第四届OpenI/O启智开发者大会在深圳顺利开幕。本次活动由鹏城实验室、新一代人工智能产业技术创新战略联盟AITISA)主办,OpenI启智社区、中关村视听产业技术创新联盟AVS
对话中科深智成维忠:数字人的关键是交互,交互的关键是大模型

作者丨王悦编辑丨董子博“今年的数字人市场迎来了天翻地覆的变化。”中科深智创始人成维忠对目前国内的数字人市场如是评价。过去,国内数字人企业真正做技术的并不多,大部分以IP打造为主。出道即巅峰的虚拟美妆达
对话加拿大工程院于非院士:寻找 AI 领域的「香农定理」

当科学家把一些菟丝子移植到几株营养状态不同的山楂树上时,那些营养状况更好的山楂树会更容易获得菟丝子的「青睐」。这在以往被看作是植物内「被动」存在的东西,但据研究人员发现,植物也具备从过去的经验中学习区