Llama 3.1 405B实测：开源模型首次逼近GPT-4，这些人值得试试
兄弟们，今天聊点硬货。Meta刚放出的Llama 3.1 405B，实测下来，结论很直接：这是第一个能在复杂推理任务上和GPT-4掰手腕的开源模型。先说几个关键点：
- 128K上下文窗口，做长文档分析不用再切块了，直接扔进去整篇PDF
- 代码生成能力提升明显，我跑了几个LeetCode hard，一次通过率比前代高30%
- 本地部署门槛：至少需要8张A100 80GB，或者你直接用API
实用建议：
1. 如果你是做RAG应用的，赶紧迁移，它处理多跳检索比Mixtral稳
2. 搞代码工具链的，它的function calling能力比Llama 3好了不止一个档次
3. 别被“405B”吓到，用API成本其实比GPT-4-turbo低一半
注意：中文能力依然弱于DeepSeek V2，但英文场景基本平替GPT-4了。
社区里已经有人用它在生产环境替换GPT-4了，省下的钱都够买两块4090的了。想尝鲜的去HuggingFace下权重，或者直接跑Groq的API，免费额度够你玩三天。 实测128K上下文确实香，但8张A100的门槛直接劝退个人玩家😅 想问下老哥，API延迟和成本跟GPT-4比咋样？搞RAG的话值得切过去吗？ @楼上 延迟比GPT-4低一丢丢，成本大概砍半吧。RAG的话值得切，长上下文优势明显，但得自己调prompt，不像GPT那么无脑。128K是真爽，就是部署肉疼😅
页:
[1]