大模型面试八股

来自：包包算法笔记

进NLP群—>加入NLP交流群

人人讨厌八股文，人人都问八股文。八股文主要考察原理理解，被痛恨的原因就是实际工作用不上，其实不满足于当一个碉堡侠的时候，八股也就不是八股了，更多的是原理的谙熟于心。

很多也算不上八股，更多是经验的交流吧。

现在大模型面试的问题还处在一个蓝海阶段，很多面试官自己也问不出太有深度的问题，整理以下仅供参考。

基础知识

1.transformer 八股文

2.attention计算方式以及参数量，attention layer手写，必考。

3.NLU以及NLG各种任务的差异。

4.tokenizer的细节,tokenizer的计算方式，各种tokenizer的优缺点。

5.各种norm方式的优缺点。

6.bert参数量的推演，任何一个transformer结构参数量的推演，和显存占用关系的推演。

大模型算法

1.在指令微调中，如何设置、选择和优化不同的超参数，以及其对模型效果的影响？

2.在指令微调中，如何选择最佳的指令策略，以及其对模型效果的影响？

3.llama, glm，bloom等现有大模型的数据处理，训练细节，以及不足之处模型架构的优化点，包括但不限于attention, norm, embedding

4.解决显存不够的方法有哪些？

5.请解释P-tuning 的工作原理，并说明它与传统的 fine-tuning方法的不同之处。

6.介绍一下Prefix-tuning的思想和应用场景，以及它如何解决一些NLP任务中的挑战

7.Lora的原理和存在的问题讲一下？

8.bf16，fp16半精度训练的优缺点

9.如何增加context length 模型训练中节约显存的技巧。

10.RLHF完整训练过程是什么？RL过程中涉及到几个模型？显存占用关系和SFT有什么区别？

11.RLHF过程中RM随着训练过程得分越来越高，效果就一定好吗？有没有极端情况？

12.encoder only，decoder only，encoder-decoder 划分的具体标注是什么？典型代表模型有哪些？

训练框架

1.Megatron以及deepspeed实现原理，各种参数以及优化策略的作用

2.模型训练以及推理中的显存占用各种混合精度训练的优劣

3.deepspeed的特点是什么？各个zero stage都有什么用？

评测

1.除了loss之外，如何在训练过程中监控模型能力？

2.如果想全面的评测模型能力，有哪些维度以及数据集？评测指标等评测中比较重要的部分要了解.

3.如何评测生成，改写等开放性任务?

4.zeroshot和Fewshot具体做法的区别？

数据

1.bloom,llama， glm等开源模型的数据来源，配比，以及不足之处

2.cot以及ic能力是如何涌现的？与预训练数据有何关系？

3.数据处理的重要步骤，如何保证预训练以及sft时候的数据多样性，数据质量，数据数量等,包括但不限于去重，质量筛选，敏感及有害信息过滤，各种来源数据配比对于模型能力的影响。