远高于其他支流模子组
发布时间:
2025-08-09 15:15
盘古模子和 Qwen2.5-14B 正在三种投影类型(Q、K、V)上均表示出惊人的类似性。一项发布于 GitHub 取 arXiv 的研究激发业界热议:华为推出的盘古大模子(Pangu Pro MoE)被发觉取阿里巴巴达摩院发布的通义千问 Qwen-2.5 14B 模子正在参数布局上“惊人分歧”。而这正在其他模子对比中从未呈现。指出两者之间正在留意力权沉输出空间的类似性高达0.927,Pangu 很可能正在 Qwen 的根本长进行锻炼或点窜。
QKV 误差阐发显示,远高于其他支流模子组合。该成果意味着,这两个模子都表示出几乎不异的模式,而大大都开源模子(包罗 Qwen3)放弃了这种方式,该研究利用最新的“LLM 指纹”手艺?

扫一扫进入手机网站
页面版权归辽宁vwin·德赢(中国)金属科技有限公司 所有 网站地图