deberta模型辩论

分词算法有快速Rust和缓慢Python两种实现方式BytePair EncodingBPE是自底向上的算法，代表模型包括GPTGPT2RoBERTaBART和DeBERTaWordPiece也是自底向上的算法，代表模型有BERTDistilBERTMobileBERTFunnel Transformers和MPNEUnigram从大词汇表开始，学习删除token的规则，代表模型有。

随后，我在地点匹配竞赛中，利用DeBerta编码的语义向量与数值属性向量作为输入，尝试arcface和cosface实验结果表明，在地点召回任务中，arcface依然表现优于softmax+cross_entropy_loss然而，我们在后续阶段放弃了使用arcface训练的embedding召回策略原因在于，其速度慢，需要较大的embedding size以确保良好性能。