6. OLMo

介绍 OLMo 模型的架构与训练方法

• OLMo 主要技术：RMSNorm、QK-Norm

• 参考资料

  • OLMo：OLMo: Accelerating the Science of Language Models

  • OLMo 2：2 OLMo 2 Furious

  • OLMo 3：Olmo 3