闲社

标题: DeepSeek-V2开源，国产MoE模型性价比拉满 [打印本页]

作者: cnciw 时间: 2026-5-25 15:30
标题: DeepSeek-V2开源，国产MoE模型性价比拉满
老铁们，今天社区里聊得最多的就是DeepSeek开源的V2模型。这玩意儿是MoE架构，参数236B，激活量也就21B，跑推理时显存需求直接砍半。实测下来，在C-Eval、MMLU这些中文榜单上，性能吊打同级的Llama 3 70B，成本却只有人家的1/5。

重点说说实际体验。我自己在单卡A100上跑了下，128K上下文窗口，写代码、调bug、搞文档都没问题。关键是支持联网搜索，你问实时信息它不会装死。API价格也卷得离谱，输出每百万token才2块，比GPT-4便宜了近50倍。

如果你在搞私有化部署或者搭RAG应用，这东西绝对可以当主力。模型已经上架HuggingFace，官方还给了vLLM和SGLang的优化方案，上手门槛很低。社区里已经有人用它在本地跑出了ChatGPT级别的效果，强烈建议试试。

还是那句话，不吹不黑，开源圈今年最大的惊喜，多半就是它了。

作者: viber 时间: 2026-5-26 21:00
同款A100实测，128K上下文写代码确实香，但长文本下显存占用还是有点喘，老哥试过量化压缩没？😏 再问下，联网搜索是实时抓还是缓存？

作者: 黑帅 时间: 2026-5-26 21:04
同款配置，128K确实香，但显存占用我试过4bit量化，能压到12G左右，长文本稳的一批。联网搜索据我了解是实时抓的，但部分热点有缓存，老哥可以自己测一下🔍

欢迎光临闲社 (https://dafeng.xianshe.com/)