把MLA和稀疏激活带到端侧！港科大广州和伦敦大学学院团队联合发布软硬协同设计的边缘语言模型PLM

首页 » 把MLA和稀疏激活带到端侧！港科大广州和伦敦大学学院团队联合发布软硬协同设计的边缘语言模型PLM

文章来源于互联网:把MLA和稀疏激活带到端侧！港科大广州和伦敦大学学院团队联合发布软硬协同设计的边缘语言模型PLM

本文由 PLM 团队撰写，PLM 团队是由香港科技大学（广州）的校长倪明选教授，伦敦大学学院（UCL）AI 中心汪军教授，香港科技大学（广州）信息枢纽院长陈雷教授联合指导。第一作者邓程是香港科技大学（广州）的研究助理，研究方向为端侧大模型和高效模型推理；参与成员包括中科院自动化所的孙罗洋博士，曾勇程博士，姜纪文硕士，UCL 吴昕键，港科大广州的博士生肖庆发和赵文欣，港科大的博士后王嘉川以及香港理工的助理教授（研究）李昊洋。通讯作者为邓程博士，陈雷教授和汪军教授。

在大模型「卷参数」的浪潮中，一个亟待解决的课题始终存在：如何让百亿级能力的 AI 跑进手机、嵌入设备、实现万物互联？内存墙、算力墙、I/O 墙这三座边缘设备的「大山」令许多大模型铩羽而归。

近日，香港科技大学（广州）倪明选校长和陈雷教授联合 UCL 汪军教授团队以及中科院自动化所团队联合提出 PLM（Peripheral Language Model），通过算法 – 系统协同设计，选择了适合边缘设备的模型架构。

PLM 是首个结合 MLA 注意力机制与 ReLU2 激活 FFN 的架构。评估结果表明，PLM 的表现优于现有在公开数据上训练的小型语言模型，性能接近利用 18T tokens 训练的 Qwen2.5-1.5B 模型，同时保持最低激活参数数量。

其中，PLM 在通用知识理解（ARC）、数学（GSM8K）任务中表现出色，在代码能力评测（HumanEval）基准上更是以 64.6 分位居榜首。

项目论文：https://arxiv.org/abs/2503.12167
项目网站：https://www.project-plm.com
项目地址：https://github.com/plm-team/PLM
模型地址：Hugging Face: https://huggingface.co/PLM-Team

团队还将模型适配至多种边缘设备，在 Snapdragon 等芯片上展现出优于同层数模型的吞吐优势。PLM 团队不仅开源模型权重，还提供了从架构设计到部署的完整技术报告，并计划逐步开源训练数据集及相关代码脚本。

剖析 PLM：1+1 能否大于 2？

核心模块一：Multi-head Latent Attention（MLA）—— 把 KV 缓存压缩到极致

PLM 采用了 Deepseek 提出的 MLA（Multi-Head Latent Attention）注意力机制，并首次将其应用于 2B 参数以下的模型中。为适应端侧系统的需求，PLM 对 Deepseek 的 MLA 进行了适度优化，去除了训练阶段用于降低成本的 Q 矩阵压缩过程，同时保留了 KV 矩阵的 512 维度。此外，PLM 通过解耦的位置编码机制，确保了模型对长程依赖信息的有效捕捉。

核心模块二：平方 ReLU 激活 —— 让计算「稀疏化」

PLM 通过去除门控机制简化了前馈神经网络，从而有效降低了计算复杂度和内存消耗。传统 SwiGLU 激活函数导致 MLP 层计算密集，而 PLM 采用了 ReLU² 作为替代。ReLU² 是一种在性能和稀疏性之间实现最优平衡的激活函数，特别适合稀疏计算场景。其定义如下：

这个设计使得 MLP 层激活稀疏度达到 90.9%，整体计算量减少 26%。此外，从硬件角度出发，零值激活能够触发指令级优化。这一设计理念成功地将模型与系统的联合优化整合到大语言模型架构中。

训练策略：充分利用开源数据

三阶段锻造 PLM-1.8B

PLM 团队精心设计了一条训练流水线，仅使用未精细设计与配比的 2.48B 预训练数据，PLM 性能就达到企业级水平。所有训练数据均来自开源社区。

预训练

第一阶段累计约 1.65T 的 Token。这个阶段中，学习率是属于预热和稳定的阶段，模型的 Loss 也在 2.3 附近有收敛趋势。第二阶段累计约 550B 的 Token。在这个阶段，模型的 Loss 随着学习的衰减快速下降。第三阶段累计约 280B 的 Token。

这个阶段里，保持第二阶段的最小学习率训练，模型进行最后的高质量知识吸收，直到 loss 逐渐收敛。整个预训练中，始终保持中英数据比例 5:2。

SFT 阶段

监督微调数据遵循「由浅入深」的数据准备方法，以渐进的方式进行监督微调过程。PLM 的 SFT 训练分为基本指令微调和高难度指令微调。下面是各个阶段的提升效果。

强化学习阶段

PLM 在偏好训练阶段沿用了团队先前提出的 ARIES 训练方法，以解决经过一般的对齐学习会经多轮自我改进后，性能会显著下降的问题。

性能实测：真的可以

PLM 采用独特的模型架构，对比的基线模型涵盖了当前最先进的 2B 参数量级模型，具体对比如下。

实验表明，PLM 表现颇具竞争力，平均分（57.29）位列第三，仅次于 Qwen2.5-1.5B（59.25）和 Yulan-Mini-2.4B（57.51）。PLM-1.8B 在 HumanEval 中获得了所有模型中的最高分，在 ARC-C、ARC-E、MBPP 和 BoolQ 中排名第二，略逊于行业领先的 Qwen2.5-1.5B，需指出的是，Qwen 系列使用了 18T 闭源语料库。

另一方面，与 Yulan-Mini-2.4B 相比，PLM-1.8B 在编码和逻辑推理任务中旗鼓相当。此外，PLM 仅包含 1.8B 参数和 32 层（Yulan-Mini 为 56 层），推理延迟会较低。综上所述，PLM-1.8B 在基本知识理解、编码和简单推理任务中表现强劲且可靠，是一款值得关注的模型。