uniquac模型

1、UniLM模型，全称为quot统一语言模型预训练用于自然语言理解和生成quot，旨在通过预训练方式实现模型在自然语言处理NLP任务上的多功能性此模型基于BERT架构，创新性地引入了三种特殊的Mask预训练目标，使模型既适用于自然语言生成NLG，也能在自然语言理解NLU任务中达到与BERT相媲美的效果UniLM模型包。

2、模型框架如上图所示，在预训练阶段，UniLM模型通过三种不同目标函数的语言模型包括双向语言模型，单向语言模型和序列到序列语言模型，去共同学习一个Transformer网络 为了控制对将要预测的token可见到的上下文，使用了不同的 selfattention mask 来实现 即通过 不同的掩码来控制预测单词的可见上下文。

3、UniLM由微软提出，它是一个统一的预训练模型，针对NLU和NLG任务都能进行微调其设计了多种语言建模任务，包括双向和序列到序列模型，以提升模型的灵活性BART则结合了BERT和GPT，作为自编码器用于广泛的任务，预训练时通过破坏和复原文本进行训练T5是谷歌的统一框架，将所有NLP任务转化为文本到文本问题。

4、5 UniLM是一个统一的预训练模型，能同时适用于NLU和NLG任务，通过多种语言建模任务提升模型灵活性6 BART结合了BERT和GPT的特点，作为自编码器应用于多种任务，预训练时通过破坏和复原文本进行训练7 T5是一个统一框架，将所有NLP任务转化为文本到文本问题，通过共享编码器和解码器实现跨任务学习。

5、主要有BPEBBPEWordPiece和UniLM等分词算法BPE通过迭代地合并最频繁出现的字符或字符序列生成词表，是目前最常用的Tokenizer方法之一BBPE基于字节Byte层面生成词表，能较好支持多种语言WordPiece基于语言模型似然概率生成新的子词UniLM则是在构建足够大词表后，通过删除计算概率低的子词调整词。

6、ALBERT由Google在2019年提出，重点在于减少模型参数，提高训练效率通过优化，ALBERT在不同配置下展现出较好的效果与训练时间优势MASS MASS由Microsoft在2019年发表，针对自然语言生成任务提出，采用联合预训练策略，同时对编码器与解码器进行训练论文详细阐述了MASS的结构与效果UNILM UNILM由Microsoft在2019。

7、ELECTRA则采用生成器和鉴别器的对抗学习策略，强化预训练阶段的信息抽取能力引入知识的模型如ERNIE和ERNIE 20通过融合实体信息，增强模型理解能力此外，创新的预训练方法如UniLMXLNet和BART，分别融合了多种语言模型的优势，如UniLM的多任务优化，XLNet的AR和AE融合，以及BART的序列到序列预训练总结。

8、EMNLP2019 KET 知识增强的Transformer模型，引入外部知识进行情感分类 详解Transitionbased Dependency parser基于转移的依存句法解析器 NLP的12种后BERT预训练方法 论文解读UniLM一种既能阅读又能自动生成的预训练模型 长文详解基于并行计算的条件随机场 NLP预训练模型 按时间。

9、在微软开源工作总仓库unilm下，将layoutlm进行clone操作由于layoutlm已作为第一版本弃用，其微调样例和主模型代码被额外一层deprecated目录包裹本文将以下游任务Funsd为例，具体展示layoutlm在微调过程中的相关代码分布式训练与代码解析 首先，通过阅读preprocesssh脚本，了解其功能为下载数据集调用preprocess。

10、Firefly项目采取了一种创新方法，通过拼接多轮对话数据并行计算每个位置的损失值，仅更新Assistant部分的权重这种方法利用了因果语言模型的特性，使得每个位置的计算独立，同时确保了对多轮对话数据的充分利用，显著提高了训练效率值得一提的是，虽然GLM和UniLM等模型存在不同的设计，但其本质与因果语言模型。

11、优于BERTT5等模型在SuperGLUE基准测试中，GLM在大多数任务上表现优于BERT，平均得分上也优于其他模型多任务预训练策略进一步提升了GLM在自然语言理解任务上的性能，与BERTLargeUniLMLarge相比，GLM在NLU任务上表现更佳任务处理统一性统一处理不同任务GLM通过自回归空白填充目标，实现了对序列。

12、BERT一种预训练语言表示模型，用于理解文本语义GPT家族包括GPT2GPT3等，专注于文本生成任务T5UniLMERNIE这些模型结合了编码和解码能力，适用于多种自然语言处理任务mBART一种多语言机器翻译模型，也适用于文本生成CTG方法分类改良派通过微调预训练模型实现控制，如Finetuning方法。

13、文本生成是自然语言处理领域的一个重要研究方向，其实际应用场景和研究价值丰富其中，生成式文本摘要作为文本生成的重要子任务，涉及新闻标题生成摘要生成关键词生成等传统的预训练语言模型，如BERTMASSuniLM等，在NLU场景中取得了显著性能，但其采用的单词子词遮盖语言模型并不适用于文本生成。

14、**RoBERTa**通过精细训练，去除NSP任务，更大数据集训练，提升准确率 **DistilBERT**知识蒸馏技术，模型尺寸减半，不损失性能，提供快速替代方案 **ERNIE**任务增强训练，实体识别和语义理解表现优异，注入丰富先验知识 **UNiLM**统一语言模型预训练，完成自然语言理解和生成任务。

15、首先，骨干网络逐渐统一统一的模型架构为大规模预训练提供了基础，微软亚洲研究院提出Multiway Transformer统一骨干网络，能同时编码多种模态模块化设计使其适用于不同视觉与视觉语言任务，受UniLM启发，理解和生成任务也能统一建模其次，基于掩码数据建模预训练已成功应用于文本与图像将图像视为语言。

16、Firefly方法之所以可行，归功于因果语言模型的特性以GPT为代表的因果语言模型具有对角掩码矩阵的attention mask特性，使得每个位置的编码只依赖于它之前的信息，从而实现了并行计算每个位置的logits虽然GLM和UniLM等模型存在prefix attention mask的设计，但ChatGLM通过单向注意力机制进行了调整，与Firefly方法。

17、subword粒度Tokenization是一种折中的方法，能够较好地平衡词表大小和保留词汇语义的需求常见方法包括BPEWordPieceUniLM和SentencePiece这些方法通过不同的算法策略，如合并频率高的字节对或计算子词之间的互信息，来构造子词词典与词粒度和字粒度相比，subword粒度在保留语义和边界信息的同时，还能有效。