苹果首次发布开源语言模型OpenELM，或将用在下一代iPhone上

近期，苹果在 Hugging Face 发布了 OpenELM 系列模型。OpenELM 的关键创新是逐层扩展策略，该策略可在 transformer 模型的每一层中有效地分配参数，从而提高准确性。与具有统一参数分配的传统语言模型不同，OpenELM 可以改变转换器层的配置，调整每层 的注意力头和前馈网络乘法器的数量。苹果称，OpenELM 模型的发布，旨在通过提供对最先进的语言模型的访问，来增强和丰富开放研究社区。