2. Llama

介绍 Llama 系列模型的架构与训练方法

• Llama 主要技术：GQA、RMSNorm、SwiGLU FFN、RoPE

• 参考资料

  • 帖子

    • Llama 2 and FlashAttention 2 - by Sebastian Raschka, PhD

    • Llama 4: The Challenges of Creating a Frontier-Level LLM

  • 论文

    • Llama：LLaMA: Open and Efficient Foundation Language Models

    • Llama 2：Llama 2: Open Foundation and Fine-Tuned Chat Models

    • Llama 3：The Llama 3 Herd of Models

    • Llama 3.1：https://ai.meta.com/blog/meta-llama-3-1/

    • Llama 4：The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation

Llama

Llama 2

Llama 3

Llama 4