Pre-Training

注意: 本文正在更新中，内容只是草稿版本，并不完善，后续会有变动。请随时关注最新版本。 引言 本篇文章将系统梳理市面上开放权重的多种大语言模型，重点关注 LLaMA 和 DeepSeek 系列。我们将深入解析其模型架构、训练数据和训练方法，并通过表格揭示各版本间的核心差异与演进。 ...

背景 随着大语言模型（LLM）在各行业的广泛应用，企业和研究团队面临将通用模型适配特定领域的迫切需求。通用大语言模型在处理特定领域任务时，往往无法满足深度需求。例如，在闭源编程语言的应用中，现有开源模型对其语法和语义的理解不足，导致在代码生成和纠错等任务中表现不佳。因此，注入领域知识并训练专属的大语言模型，成为提升开发效率和代码质量的关键步骤。 ...