开云kaiyun登录入口登录APP下载(中国)官方网站

栏目分类
ky体育官网登录入口网页版激活参数目为 39B-开云kaiyun登录入口登录APP下载(中国)官方网站
发布日期:2026-09-17 03:52    点击次数:119

IT之家 10 月 16 日音问,本年 9 月ky体育官网登录入口网页版,华为盘古 718B 大模子凭借不堆数据、专注想考的考试形而上学,在 SuperCLUE 榜单中一举冲至开源模子第三,成为业界焦点。

华为官方昨日晓喻,openPangu-Ultra-MoE-718B-V1.1 追究在 GitCode 平台开源,模子权重与技艺细节全面公开。

硬件条款:Atlas 800T A2 (64GB,>=32 卡),撑抓裸机或 Docker 部署。

特质功能:通过 / no_think 秀气切换快慢想考模式,撑抓多轮器具调用。

华为官方先容称,openPangu-Ultra-MoE-718B-V1.1 是基于昇腾 NPU 考试的大范围夹杂巨匠(MoE)言语模子,总参数范围达 718B,激活参数目为 39B。该模子在团结架构下会通了“快想考”与“慢想考”两种才能,竣事更高效、更智能的推理与有盘算。

在 9 月最新 SuperCLUE 榜单中,openPangu-718B 稳居开源模子总榜第三,在数学推理、科学推理、代码生成等六大中枢维度均进展优异。尤其值得热情的是,其幻觉限度项得分高达 81.28,甚而跨越部分闭源巨头,突显出其在输出可靠性上的技艺上风。

比较上一版块 openPangu-Ultra-MoE-718B-V1.0,V1.1 在 Agent 器具调用才能上显耀增强,幻觉率进一步裁汰,模子的概括进展与自由性也全面提高。

华为领受了业界先进的 Multi-head Latent Attention(MLA)、Multi-Token Prediction (MTP) 以及高稀少比夹杂巨匠架构,并在此基础上引入多项革命设想,以竣事更优的性能与考试后果:

Depth-Scaled Sandwich-Norm 与 TinyInit:通过变嫌层归一化结构和参数运行化形态,显耀提高模子考试的自由性与料理速率。

基于 EP-Group 的负载平衡计谋:优化负载平衡蚀本函数,有用增强巨匠路由的漫衍平衡性,提高巨匠特化与协同才能。

本次开源的 V1.1 版块在多个要津维度竣事显耀提高:

概括才能优化:在 MMLU-Pro、GPQA 等高难度测评中,快慢想考双模式得益全面卓越 V1.0;

幻觉率大幅裁汰:通过“批判内化”机制,幻觉率从 V1.0 的 10.11% 降至 3.85%(快想考模式);

器具调用才能增强:升级 ToolACE 框架,在 Tau-Bench 等多器具协同任务中进展亮眼;

首推 Int8 量化版块:显存占用减少约一半,朦拢提高 20%,精度蚀本不及 1%。

IT之家附官方地址:

模子地址:

https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1

Int8 量化版块:

https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8ky体育官网登录入口网页版

告白声明:文内含有的对外跳转勾通(包括不限于超勾通、二维码、口令等神气),用于传递更多信息,勤俭甄选时辰,结果仅供参考,IT之家统统著作均包含本声明。

]article_adlist-->   声明:新浪网独家稿件,未经授权辞谢转载。 -->

友情链接:

Powered by 开云kaiyun登录入口登录APP下载(中国)官方网站 @2013-2022 RSS地图 HTML地图

Copyright Powered by站群 © 2013-2024