顺应潮流,Mistral 7B v0.2 基模型突然开源了,支持32K上下文

刚刚,Mistral AI 的模型又更新了。

这次开源一如既往地「突然」,是在一个叫做 Cerebral Valley 的黑客松活动上公布的。

 

刚刚,Mistral AI 的模型又更新了。这次开源一如既往地「突然」,是在一个叫做 Cerebral Valley 的黑客松活动上公布的。这次开源的 Mistral 7B v0.2 Base Model ,是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型,后者属于该公司的「Mistral Tiny」系列。此次更新主要包括三个方面:将 8K 上下文提到了 32K;Rope Theta = 1e6;取消滑动窗口。

顺应潮流,Mistral 7B v0.2 基模型突然开源了,支持32K上下文

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
error: 您点击的内容受到保护~