NLP

背景 Transformer（Vaswani et al., 2017）是一种基于编码器-解码器架构的模型。此模型在自然语言处理领域中展示了卓越的性能，随后一系列模型在此基础上进行了优化，例如仅使用编码器的 BERT（Devlin et al., 2018）或仅使用解码器的 GPT（Radford et al., 2018）系列，以及后续的大型语言模型如 LLaMA（Touvron et al., 2023）和 GPT-4（OpenAI et al., 2024）系列，这些模型大多采用了仅解码器的结构。 ...

背景 随着大语言模型（LLM）在各行业的广泛应用，企业和研究团队面临将通用模型适配特定领域的迫切需求。通用大语言模型在处理特定领域任务时，往往无法满足深度需求。例如，在闭源编程语言的应用中，现有开源模型对其语法和语义的理解不足，导致在代码生成和纠错等任务中表现不佳。因此，注入领域知识并训练专属的大语言模型，成为提升开发效率和代码质量的关键步骤。 ...