GPT-1: Improving Language Understanding by Generative Pre-Training

📝 核心点

Decoder-Only架构，仅解码，不编码，并且提出了pre-training and fine-tuning，坚持使用自回归（Autoregressive）方式，即“预测下一个 token”，利用仅预测next token的方式预训练模型，通过增加linear layer来微调全参使输出适配各种task，并且fine-tuning过程中的损失函数也很值得考量，一方面需要适配具体任务，另一方面也还需要继续学习原本的预测next token的任务，使得模型不会出现灾难性遗忘。文中隐隐感觉出现prompt提示词工程的思想和后续SFT的思想。当时性能不如 BERT，但 OpenAI 坚信“生成”才是通往通用的路径。