元象首个MoE大模型开源:4.2B激活参数,效果堪比13B模型

据元象XVERSE微信公众号发文,元象发布XVERSE-MoE-A4.2B大模型 ,采用业界最前沿的混合专家模型架构,激活参数4.2B,效果即可达到13B模型水准。据介绍,XVERSE-MoE-A4.2B实现了极致压缩,相比XVERSE-13B-2仅用30%计算量,并减少50%训练时间。在多个权威评测中,元象MoE效果大幅超越Gemma-7B、Mistral-7B、Llama2-13B等开源模型,并接近超大模型Llama1-65B。该模型全开源,无条件免费商用。
ModelScope魔搭开源地址:
https://modelscope.cn/models/xverse/XVERSE-MoE-A4.2B

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
error: 您点击的内容受到保护~