第十二章：编码器系列模型

第三部分的整套推理服务都架在“逐词元把回答生成出来”这个前提上。文本分类、关系抽取、语义相似度这类任务并不需要生成，只需要一份好的文本表示。去掉因果掩码、让每个位置都读到整句的编码器，正是为这件事设计的。

本章按“基线 → 定向修补”组织：12.1 节的 BERT 是基线，后两节各自认领它留下的一笔账——12.2 节处理预训练任务与参数量，12.3 节处理 512 词元的长度上限。可顺序通读，也可只查用得上的那一节。