书生·浦语大模型实战营-第四节
输入“/”快速插入
书生·浦语
大模型
实战营-第四节
飞书用户6850
1月15日创建
文档:
https://github.com/InternLM/tutorial/blob/main/xtuner/README.md
视频:
Finetune 简介
LLM
的下游应用中,
增量预训练
和
指令
跟随
是经常会用到两种的微调模式。
增量预训练微调
使用场景:让基座模型学习到一些新知识,如某个垂直领域(垂类)的常识
训练数据
:文章、书籍、代码等
指令
跟随微调
使用场景:让模型学会对话模板,根据人类
指令
进行对话
训练数据
:高质量的对话、问答数据
指令
跟随
对于一个 pretrained
LLM
,如果没有学习过垂类知识,那么在输入一个问题时,输出往往会是对句式的
拟合
,而不是回答。为了让 LLM 知道我们的意图(对话,一问一答,而不是仿写),就需要对 LLM 进行
指令
微调,得到 instructed LLM。
与
LLM
对话的方式:
在实际对话时,通常会有三种角色
•
System:给定一些上下文信息,比如“你是一个安全的
AI
助手”(给出 prompt 的脚本)
•
User:实际用户,会提出一些问题,比如“世界第一高峰是?”(人)
•
Assistant:根据 User 的输入,结合 System 的上下文信息,做出回答,比如“珠穆朗玛峰”(model.predict)
与 LLM 的对话流程
不同的模型有不同的对话模板。
LlaMa2 与 InternLM 对话模板的展示
在
指令
微调训练中,只会对
Output
部分计算 Loss,因此
训练数据
和对应标签如下。
其对话流程为