(unmix模型怎么读)

1、模型框架如上图所示，在预训练阶段，UniLM模型通过三种不同目标函数的语言模型包括双向语言模型，单向语言模型和序列到序列语言模型，去共同学习一个Transformer网络 为了控制对将要预测的token可见到的上下文，使用了不同的 selfattention mask 来实现 即通过 不同的掩码来控制预测单词的可见上下文。

2、UniLM模型，作为Seq2Seq和BERT的融合，通过双向单向和序列到序列语言模型的联合预训练，旨在统一自然语言理解NLU和自然语言生成NLG的任务模型结构图107揭示了其强大融合，三种掩盖策略让预训练更有效，微调过程与BERT类似，且可直接使用开源模型在实践中，如图108所示，UniLM模型通过自注意力机。