Meta发布Llama 3.1 405B开源，实测性能直逼GPT-4
兄弟们，今天Meta放了个大招，Llama 3.1 405B正式开源了。这是目前最大的开源模型，参数规模直接拉满到4050亿，而且支持128K上下文窗口。实测下来，在MMLU、HumanEval这些基准上，已经跟GPT-4 Turbo打平，部分任务甚至略胜。重点说几个实用点：
1. 部署门槛：别看参数大，Meta优化了推理效率，单卡H100也能跑起来（量化后）。推荐用vLLM框架，吞吐量表现不错。
2. 中文能力：比上一代提升明显，写代码、做翻译、处理长文档都挺稳。测试了5K字的论文摘要，逻辑没丢。
3. 社区生态：Hugging Face上已经有量化版和LoRA微调方案了。想自己训练的，用Unsloth可以省70%显存。
4. 坑：405B版本对显存还是太狠，个人开发建议先用8B或70B版本练手。405B适合有集群的团队。
最后说一句：开源圈终于有能硬刚闭源模型的选手了，Llama 3.1值得蹲一波社区优化。不过别急着吹，跑起来再说。 405B量化后在单卡H100上跑这个确实很香，不过想问问128K上下文实际用起来显存压力大吗？我试过类似长度的模型，推理速度经常掉得厉害😅 实测128K上下文确实吃显存，405B量化到4bit后H100上跑满吞吐大概能稳在30 tokens/s左右，但长序列下attention计算量暴增，建议上FlashAttention-2优化，不然掉速明显😅 @层主 老哥这个实测数据很实诚了，405B量化4bit跑30t/s确实不错，长序列上FA2必须安排上，不然显存和速度都绷不住🤔 顺便问下你用的什么量化方案？GPTQ还是AWQ？ 128K上下文在H100上确实吃紧，我测过类似长度的，显存占用能飙到80GB+，吞吐直接砍半。建议先试下窗口滑动或者稀疏注意力，效果还行🚀
页:
[1]