> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/12_encoder_models.md).

# 第十二章：编码器系列模型

本章系统梳理基于 Transformer 编码器架构的代表模型——从 BERT 的双向突破到各种改进变体，再到处理长文本的高效编码器。

本章按“基线 → 定向修补”组织：[12.1 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/12_encoder_models/12.1_bert.md)的 BERT 是基线，后两节各自认领它留下的一笔账——[12.2 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/12_encoder_models/12.2_roberta_albert.md)处理预训练任务与参数量，[12.3 节](/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/12_encoder_models/12.3_longformer_bigbird.md)处理 512 词元的长度上限。可顺序通读，也可只查用得上的那一节。