> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/12_encoder_models.md).

# 第十二章：编码器系列模型

本章系统梳理基于 Transformer 编码器架构的代表模型——从 BERT 的双向突破到各种改进变体，再到处理长文本的高效编码器。