Bootstrap

学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调
mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type=“SEQ_CLS”, num_virtual_tokens=10)
方便我们进行prompt tuning
就只不过是一种peft

在这里插入图片描述
是使用的glue数据集,里面很多丰富种类的数据
在这里插入图片描述
看来是用mrpc任务,判断2个句子是不是同一描述。
在这里插入图片描述
在这里插入图片描述
微调的参数少,这才是peft
用ms设置求导,和模型搭建
在这里插入图片描述
开始了微调
最后得到了评估的分数
在这里插入图片描述

;