书生·浦语大模型实战营-第三节
输入“/”快速插入
书生·浦语
大模型
实战营-第三节
飞书用户6850
1月13日创建
文档:
https://github.com/InternLM/tutorial/blob/main/langchain/readme.md
视频:
大模型开发范式
LLM
的局限性
知识时效性受限
:如何让
LLM
能够获取最新的知识
大模型
在确定的时间点训练,但其仅包含训练时间点之前的知识。
专业能力有限
:如何打造垂域
大模型
大模型
可以多个领域解答简单问题,具有知识广度;而对于垂直领域的专业问题,通用大模型捉襟见肘,在医学、法学表现良好的模型才有广阔的应用前景和发展潜力。
定制化成本高
:如何打造个人专属的
LLM
应用
大模型
训练成本高,而通用大模型解决用户需求的能力受限。
RAG (Retrieval Augmented Generation)
给
大模型
外挂一个知识库,对于用户的提问,大模型会首先从知识库中匹配到提问对应回答的相关文档,然后将文档和提问一起交给大模型来生成回答,从而提高大模型的知识储备。
优势:
•
加入新知识成本低,可随时更新,无需
GPU
重新训练。
劣势:
•
能力受基座模型影响大,基座模型的能力上限极大程度上决定了 RAG 应用的能力天花板;
•
RAG 应用每次将提问和检索到的相关文档一起交给
大模型
进行回答,占用大量的模型上下文,因此回答知识有限,对于一些需要大跨度收集知识进行总结性回答的问题表现不佳。
RAG 应用开发基本流程图
Finetune
微调,延承自传统
NLP
。
在一个新的较小的训练集上,进行轻量级的训练微调,从而提升模型在这个新数据集的能力。
优势:
•
可个性化微调,知识覆盖面广,可以充分
拟合
个性化数据,尤其是对于非可见知识,如
回答风格
,模拟效果非常好;
•
finetune 应用是一个新的个性化
大模型
,仍然具有大模型的广阔知识域,因此可以回答的问题多、知识覆盖面广。
劣势:
•
需要在新的数据集上进行训练,成本高昂,需要很多的
GPU
算力
和个性化数据,无法解决实时更新的问题。
LangChain 介绍
可以快速高效地开发一个 RAG 应用。