IT之家 10 月 16 日音问,本年 9 月ky体育官网登录入口网页版,华为盘古 718B 大模子凭借不堆数据、专注想考的考试形而上学,在 SuperCLUE 榜单中一举冲至开源模子第三,成为业界焦点。
华为官方昨日晓喻,openPangu-Ultra-MoE-718B-V1.1 追究在 GitCode 平台开源,模子权重与技艺细节全面公开。
硬件条款:Atlas 800T A2 (64GB,>=32 卡),撑抓裸机或 Docker 部署。
特质功能:通过 / no_think 秀气切换快慢想考模式,撑抓多轮器具调用。

华为官方先容称,openPangu-Ultra-MoE-718B-V1.1 是基于昇腾 NPU 考试的大范围夹杂巨匠(MoE)言语模子,总参数范围达 718B,激活参数目为 39B。该模子在团结架构下会通了“快想考”与“慢想考”两种才能,竣事更高效、更智能的推理与有盘算。
在 9 月最新 SuperCLUE 榜单中,openPangu-718B 稳居开源模子总榜第三,在数学推理、科学推理、代码生成等六大中枢维度均进展优异。尤其值得热情的是,其幻觉限度项得分高达 81.28,甚而跨越部分闭源巨头,突显出其在输出可靠性上的技艺上风。
比较上一版块 openPangu-Ultra-MoE-718B-V1.0,V1.1 在 Agent 器具调用才能上显耀增强,幻觉率进一步裁汰,模子的概括进展与自由性也全面提高。
华为领受了业界先进的 Multi-head Latent Attention(MLA)、Multi-Token Prediction (MTP) 以及高稀少比夹杂巨匠架构,并在此基础上引入多项革命设想,以竣事更优的性能与考试后果:
Depth-Scaled Sandwich-Norm 与 TinyInit:通过变嫌层归一化结构和参数运行化形态,显耀提高模子考试的自由性与料理速率。
基于 EP-Group 的负载平衡计谋:优化负载平衡蚀本函数,有用增强巨匠路由的漫衍平衡性,提高巨匠特化与协同才能。



本次开源的 V1.1 版块在多个要津维度竣事显耀提高:
概括才能优化:在 MMLU-Pro、GPQA 等高难度测评中,快慢想考双模式得益全面卓越 V1.0;
幻觉率大幅裁汰:通过“批判内化”机制,幻觉率从 V1.0 的 10.11% 降至 3.85%(快想考模式);
器具调用才能增强:升级 ToolACE 框架,在 Tau-Bench 等多器具协同任务中进展亮眼;
首推 Int8 量化版块:显存占用减少约一半,朦拢提高 20%,精度蚀本不及 1%。
IT之家附官方地址:
模子地址:
https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1
Int8 量化版块:
https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8ky体育官网登录入口网页版
告白声明:文内含有的对外跳转勾通(包括不限于超勾通、二维码、口令等神气),用于传递更多信息,勤俭甄选时辰,结果仅供参考,IT之家统统著作均包含本声明。 ]article_adlist--> 声明:新浪网独家稿件,未经授权辞谢转载。 -->