1、模型框架如上图所示，在预训练阶段，UniLM模型通过三种不同目标函数的语言模型包括双向语言模型，单向语言模型和序列到序列语言模型，去共同学习一个Transformer网络为了控制对将要预测的token可见到的上下文，使用了不同的selfattentionmask来实现即通过不同的掩码来控制预测单词的...