文章来源于互联网:LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
-
论文标题:Ensemble Learning for Heterogeneous LargeLanguage Models with Deep Parallel Collaboration -
论文地址:https://arxiv.org/abs/2404.12715 -
代码地址:https://github.com/OrangeInSouth/DeePEn








其中
是模型
的协作权重。作者尝试了两种确定协作权重值的方法:(1) DeePEn-Avg,对所有模型使用相同的权重;(2) DeePEn-Adapt,根据各个模型的验证集性能成比例地为每个模型设置权重。






