OptiMer 最优分布向量合并,解决大模型持续预训练数据配比难题

做大模型持续预训练的时候,最头疼的就是不同领域、不同语种的数据配比怎么调。传统做法是先把多种数据按比例混在一起,跑完整轮训练,跑完