文章目录

• 1.前言
• 2. BERT
• • 2.1 引入
  • 2.2 以前的工作
  • • 2.2.1 feature-based 方法
    • 2.2.2 fine-tuning 方法
    • 2.2.3 迁移学习方法
  • 2.3 BERT架构
  • • 2.3.1 MLM
    • 2.3.2 NSP
  • 2.4 实验
  • • 2.4.1 BERT模型的效果
    • 2.4.2 验证性实验
• 3.ALBERT
• • 3.1 引入
  • 3.2 相关工作
  • • 3.2.1 cross-layer parameter sharing（交叉层的参数共享）
    • 3.2.2 sentence-order prediction (SOP，句子顺序预测)
  • 3.3 ALBERT的模型
  • • 3.3.1 factorized embedding parameterization
    • 3.3.2 Cross-layer parameter sharing
    • 3.3.3 Inter-sentence coherence loss.
  • 3.4 实验
  • • 3.4.1 BERT和ALBERT的对比
    • 3.4.2 交叉层参数共享实验
    • 3.4.2 SOP
• 4. 参考