目录

1. 什么是LLM语言大模型

2. 大模型的预训练与微调

3. RAG与微调是怎么工作的

4. RAG与微调的区别

5. 微调模型成本

一、什么是LLM语言大模型

二、大模型的预训练与微调

三、 RAG增强检索是如何工作的？

RAG的核心：知识库

LLM微调的流程：

全量微调：

高效微调（PEFT）——LoRA

四、RAG与微调的区别

业务场景：

1. 企业业务场景容易发生变化，数据为动态数据——RAG

2. 模型能力上的提升——微调 举例：有能力阅读研报、需要有销售的口吻做销售助理定制产品、具备一定通用大模型不具备的能力条件时

3. 模型成本——RAG

4. 可解释性：——RAG LLM微调通常情况下为内部运作是黑盒模式，我们无法实时对内部能够了解其工作原理，很难追溯问题的根源，相比之下，RAG的可调配性要由于模型的的微调。

5. 依赖通用能力——RAG 通常做微调之后，模型的通用性会进行降低——模型的遗忘

6. 延迟——微调 在某些业务场景下我们会对服务有一定的延迟的要求，这种情况下模型的微调为首选，RAG本身包含特别的多的流程其中包括：检索、精排

7. 使用小模型的——微调 在有一些业务场景情况下，模型的参数相对较小，通用能力比较弱，业务又对通用能力依赖较小。我们又需要模型在某一能力上得到提升，这种情况下微调本身的优势较为明显

五、微调模型成本

全量微调：

高效微调（LoRA微调）：

参考引用出处：