目录

• 1 Cold Start
• • 1.1 冷启动数据的收集
  • 1.2 数据格式设计
  • 1.3 冷启动数据的优势
  • 1.4 如何影响训练
• 2 rejection sampling
• • 2.1 定义与目的
  • 2.2 流程
  • 2.3 与其他数据生成方式的区别
  • 2.4 优化与性能提升
  • 2.5 应用
• 3 rule-based rewards
• • 3.1 规则定义与奖励机制
  • 3.2 奖惩机制
• 4 Distillation
• • 4.1 蒸馏的基本流程
  • 4.2 蒸馏的技术细节
  • 4.3 蒸馏技术的核心思想
• 5 Multi-Head Latent Attention (MLA)
• • 5.1 MLA的技术细节
  • 5.2 MLA的优势
• 6 MOE
• • 6.1 基本原理
  • 6.2 主要问题
  • 6.3 优化方案
• 7 Multi-token Prediction
• • 7.1基本流程
  • 7.2 优势
• 8 总结