> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/12_encoder_models/summary.md).

# 本章小结

**BERT** 开创了双向预训练范式，在理解型任务上取得了突破性成果。**RoBERTa** 证明了充分训练的重要性，**ALBERT** 展示了参数效率优化的可行性，**ELECTRA** 通过替换检测任务大幅提升了训练效率。**Longformer** 和 **BigBird** 通过稀疏注意力使编码器能够高效处理长文本。

虽然编码器模型在特定理解任务上仍有优势，但仅解码器的大语言模型已在大多数场景中展现出同等甚至更强的能力。下一章将深入讨论解码器系列模型。

***

> 📝 **发现错误或有改进建议？** 欢迎提交 [Issue](https://github.com/yeasy/llm_internals/issues) 或 [PR](https://github.com/yeasy/llm_internals/pulls)。