大模型(LLMs)基础面试
 

1. 目前 主流的开源模型体系 有哪些?
2. prefix Decodercausal Decoder和Encoder-Decoder 区别是什么?
3. 大模型 LLM 的 训练目标 是什么?
4. 涌现能力是啥原因?
5. 为何现在的大模型大部分是 Decoder only 结构?
6. 简单 介绍一下 大模型【LLMs】?
7. 大模型【LLMs】后面跟的 175B、60B、540B等 指什么?
8. 大模型【LLMs】具有什么优点?
9. 大模型【LLMs】具有什么缺点？

1. 目前 主流的开源模型体系 有哪些?

目前 主流的开源模型体系 分三种:

• 第一种:prefix Decoder 系

         介绍:输入双向注意力，输出单向注意力
        代表模型:ChatGLM、ChatGLM2、U-PaLM第二种:causalDecoder 系

• 第二种:causalDecoder 系

        介绍:从左到右的单向注意力
        代表模型:LLaMA-7B、LLaMa 衍生物

• 第三种:Encoder-Decoder

        介绍:输入双向注意力，输出单向注意力
        代表模型:T5、Flan-T5、BART