元象

4月04

  • 元象首个MoE大模型开源:4.2B激活参数,效果堪比13B模型

    21:23 作者:Po

    据元象XVERSE微信公众号发文,元象发布XVERSE-MoE-A4.2B大模型 ,采用业界最前沿的混合专家模型架构,激活参数4.2B,效果即可达到13B模型水准。据介绍,XVERSE-MoE-A4.2B实现了极致压缩,相比XVERSE-13B-2仅用30%计算量,并减少50%训练时间。在多个权威评测中,元象MoE效果大幅超越Gemma-7B、Mistral-7B、Llama2-13B等开源模型,…

    元象首个MoE大模型开源:4.2B激活参数,效果堪比13B模型

    元象
    分享到

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
error: 您点击的内容受到保护~