马斯克旗下 xAI 开源 Grok-1:3140 亿参数,权重架构全开放

今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。Grok-1 的模型细节包括如下:基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;3140 亿参数的 MoE 模型,在给定 token 上的激活权重为 25%;2023 年 10 月,xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构。

马斯克旗下 xAI 开源 Grok-1:3140 亿参数,权重架构全开放

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
error: 您点击的内容受到保护~