注意：下面内容是由 OpenAI Deep Research 生成的研究案例 😊，模型会有一定幻觉和格式上的错误，仅供参考。 原文链接: LLaMA 系列技术演进详解 好的，我将撰写一篇详细的技术博客，全面介绍 LLaMA 系列的发展进展，包括从 LLaMA 1 到最新 LLaMA 3 的对比，以及其在模型架构、训练方法、推理性能等方面的演进。我会加入数学公式来解析关键技术点，如 RMS Normalization、FFN_SwiGLU、RoPE、GQA 和 BPE，并提供代码示例帮助理解。此外，我还会整理 LLaMA 最新模型与其他大模型（如 DeepSeek R1、O1/O3 等）的对比数据。 ...
OpenAI Deep Research (OpenAI, 2025) 主要是采用以 o3 推理模型为基座的多 agent 协作方式。相关开源研究和产品之前也有不少，比如 GPT Researcher 和 Google Gemini 版本的 Deep Research (DeepMind, 2024)。不过 OpenAI 的产品是博主目前体验下来效果最好。之后咨询分析、论文综述和新闻编辑等任务都可以先让这个工具自动化完成，然后再由人工进行最后的修正和审查，怎么感觉之后我写技术博客的任务也会被替代了呢？😂 ...
这篇博客主要介绍一种比 RLHF 更精简的替代算法 DPO。与 RLHF 一样，DPO 目的是使模型输出与人类偏好保持一致，但它在实现上更加简单，并且对资源的需求更低。在项目资源受限的情况下，DPO 是一个实用解决方案。 ...
注意: 本文正在更新中，内容只是草稿版本，并不完善，后续会有变动。请随时关注最新版本。 检索增强生成（Retrieval-Augmented Generation, RAG） 是一种结合大型语言模型（LLM）与外部知识库的先进技术框架。RAG 在回答问题时，不再仅依赖模型自身参数，而是通过实时检索外部知识库，显著降低模型的知识盲区，提升答案的准确性与可信度。 ...
引言 在深度学习中，网络架构的设计对模型的性能和训练效率有着至关重要的影响。随着模型深度的增加，训练深层神经网络面临诸多挑战，如梯度消失和梯度爆炸问题。为了应对这些挑战，残差连接和各种归一化方法被引入并广泛应用于现代深度学习模型中。本文将首先介绍残差连接和两种架构，分别是 pre-norm 和 post-norm。随后介绍四种常见的方法：Batch Normalization、Layer Normalization、Weight Normalization 和 RMS Normalization，并分析为何当前主流的大模型倾向于采用 RMSNorm 与 Pre-Norm 结合的架构。 ...