本章小结

BERT 开创了双向预训练范式，在理解型任务上取得了突破性成果。RoBERTa 证明了充分训练的重要性，ALBERT 展示了参数效率优化的可行性，ELECTRA 通过替换检测任务大幅提升了训练效率。Longformer 和 BigBird 通过稀疏注意力使编码器能够高效处理长文本。

虽然编码器模型在特定理解任务上仍有优势，但仅解码器的大语言模型已在大多数场景中展现出同等甚至更强的能力。下一章将深入讨论解码器系列模型。