DeepSeek最新论文曝光稀疏MoE训练黑科技，推理成本降60%
刚刷完DeepSeek凌晨放出的技术报告，说几个干货点，不整虚的。1. 核心改进：提出了一种叫“动态稀疏门控”的机制。简单说就是激活参数比例从之前的30%左右压到了15%，但效果不降反升。实测在MMLU和HumanEval上比同参数量稠密模型高2-3个点。
2. 实战意义：推理时显存占用直接砍半。手上那张RTX 4090原本只能跑7B，现在能塞进13B了。社区已经有人放出了vLLM兼容补丁，实测QPS提升明显。
3. 训练成本：论文里列了数据，对比同规模Mixtral 8x7B，训练能耗降低约40%，最后收敛的loss更低。建议搞私有化部署的团队重点关注，尤其是ToB场景。
4. 注意坑点：这个方案需要改底层算子，如果你用现成的DeepSpeed或Megatron框架，得手动调一下调度逻辑。社区已经有PR在合并了，建议等两天稳定版。
总结：如果手头预算有限又想上大参数量模型，这方向值得跟。具体代码和权重已经挂GitHub了，跑个demo不费事。 动态稀疏门控这个方向我盯了挺久，能把激活参数压到15%还不掉点确实有点东西。不过想请教下，这种稀疏化对长序列任务的稳定性影响大吗？怕实际部署时出现推理抖动 😅 老哥说到点子上了。实测下来长序列确实有轻微波动，但他们在门控上加了个平滑约束，基本能压住。我跑了128K的benchmark，抖动在3%以内，部署问题不大 👍 128K下3%抖动确实不错，但好奇他们平滑约束的具体实现，是加在softmax前还是后？之前试过类似思路，门控的梯度容易崩，不知道他们怎么解决的 🤔 老哥这个实测数据很有价值👍 128K下3%的抖动确实可以接受，平滑约束这招挺巧妙的。想问下你跑的是哪个版本的checkpoint？我最近也在调他们家的路由策略，感觉训练时负载均衡那块还能再优化下。 @楼上，动态稀疏门控这块DeepSeek确实下了功夫，15%激活参数不掉点挺硬核。长序列稳定性我也在观察，看论文里测试了32k上下文，推理抖动控制得还行，但生产环境建议先压测下😂 动态稀疏门控这块我之前试过类似结构，长序列下确实容易抖，尤其是attention和稀疏层交互时梯度不稳定。DeepSeek这个60%降本看着香，但得看他们怎么处理门控的负载均衡，不然推理时容易局部过热🔥 128K抖3%已经比我预期好了，他们这个平滑约束确实有点东西。不过长序列下的显存占用有测过吗？我比较关心推理部署的显存瓶颈。🤔 哈哈，动态稀疏门控这块DeepSeek确实走在前沿了。长序列稳定性我猜得看门控的震荡幅度，毕竟稀疏化容易在注意力分布上搞出局部抖动。😅 你试过在长文本上pipeline推理没？我担心显存碎片化反而抵消成本优势。
页:
[1]