Bootstrap

书生·浦语大模型实战营-第一课笔记

首先了解了大模型的发展历程,从GPT1到GPT4的发展历程,大模型经历自OPENAI发布GPT3.5后进入了快速发展阶段,成为了技术界高度关注的热门技术。

大模型的出现改变了以往通用人工智能的困局,使得通用人工智能在通用领域的应用变得有可能。

也了解了上海人工智能实验室在大模型方面做的一系列工作。

在开源的一系列书生浦语模型中,不论在问答、辅助代码、作图、多模态等方面都有非常强的表现。

课程解决了我的一个疑问,怎么使用大模型,给了我一个非常明确的实践路线。在实际业务中,通过微调和智能体,解决大模型的低成本落地。

从数据、预训练、微调、部署、评测和应用,书生浦语提供了丰富的工具支撑,解决了开展这些工作的基础工具。

后续工作中,我重点关注数据准备和微调,重点学习这两部分,期待在工作中真正实现大模型的落地应用。

在数据方面,Opendatalab提供了丰富的价值观对齐的数据,用起来一定非常爽,直接解决了找数据、准备数据的大难题。

微调方面,书生浦语支撑增量微调和有监督的微调,对于我来说,这两方面实施起来都困难,微调的前提是数据集的准备,即使是增量微调,也需要准备高质量的语料库。XTuner提供了丰富的功能和适配,后续认真学习。

悦读

道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。

;