机器学习大模型问题记录

基础知识

1、多标签和多分类的区别

多分类
x有且仅有一个类别，输出y为属于类别的概率，最终类别为 $y_i$ 最大的类别，特点为 $y_i$ 互斥，且包含所有情况。
输出通常使用softmax，使 $y_i$ 具有上述特点。
在这里插入图片描述
多标签
输出 $y_i$ 各个类别之间有重合部分，且x可能同时属于多个类别， $1>=y_i>=0$ ,此时最后一层通常使用sigmoid函数。

2、在多分类中什么情况需要负采样，以及负采样方法

在这里插入图片描述
存在的问题：

类别过多，比如推荐系统中，预测类别y_i会很多，会导致上述运算量很大

基础知识网站

https://github.com/wdndev/llm_interview_note/blob/main/01.%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9F%BA%E7%A1%80/1.%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0/1.%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0.md

温度系数

https://zhuanlan.zhihu.com/p/666670367
在这里插入图片描述
temperature参数控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率；

temperature越大，则预测词的概率的方差减大，即很多词被选择的可能性增大，利于文本多样化

举例：Prompt: “The quick brown fox”

Temperature = 0.1:

“The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the lazy dog.

Temperature = 0.5:

“The quick brown fox jumped over the lazy dog. The lazy cat was not impressed. The quick brown fox ran away.”

Temperature = 1.0:

“The quick brown fox jumped over the lazy dog. Suddenly, a flock of birds flew overhead, causing the fox to stop in its tracks. It looked up at the sky, wondering where they were going.”

温度就是调整大模型生成随机性的一个参数，温度越高，大模型在相同输入下，多次推理的结果相差越大

beam search

https://zhuanlan.zhihu.com/p/82829880

在这里插入图片描述
k越大，LLM输出多样性越大

复读机问题

https://blog.csdn.net/weixin_46566149/article/details/134987196

复读机问题分析及解决方案

在DPO时遇到复读机问题，增加SFT loss或者lora，基本思想是和ref model更像。
https://www.linsight.cn/93328a2a.html

在DPO阶段，会用在上一轮post-training得到的最佳模型收集偏好数据对，这样能使得偏好数据的分布和强化学习时的policy model更一致。

除了DPO以外，Meta也尝试了一些on-policy的方案，如PPO。但是相对来说，DPO消耗更少的计算资源，并且效果也更好，特别是在instruction following的能力上，所以还是选择在post-training使用DPO。

DPO训练中，使用lr=1e-5，beta=0.1。

此外，训练中还做了一些不同于标准做法的改动：

1、Masking out formatting tokens in DPO loss

把特殊token比如header和termination token屏蔽，不用于计算训练loss。因为使用这些token计算loss会使得模型在生成时，出现如复读机或者在不合适的地方截断的情况。这可能就是因为chosen repsponse和rejected response同时包含的这些特殊token，让模型在训练时要同时增大和较小它们的likelihood，导致冲突。

2、Regularization with NLL loss

除了DPO的常规loss，Meta额外加入了NLL损失项，这和《Iterative reasoning preference optimization》的做法类似。这也有点像PPO里加入next token prediction loss，能使训练更加稳定，并能保持SFT学到的生成格式，并保持chosen response的log probability不下降（《Smaug: Fixing failure modes of preference optimisation with dpo-positive》）。