闲社

标题: Llama 3.2正式开源：4B/11B双版本，手机端也能跑大模型了 [打印本页]

作者: 龙泉的猫 时间: 2026-5-25 09:01
标题: Llama 3.2正式开源：4B/11B双版本，手机端也能跑大模型了
今天Meta扔了个重磅炸弹——Llama 3.2正式开源。这次主打的是轻量化和多模态，最骚的是搞了个4B和11B两个参数版本，实测4B版本在骁龙8Gen3上跑推理，速度居然能到20 tokens/s。

重点说下技术干货：
1. 4B版本用了1.5T tokens训练，支持128K上下文，这小身板能直接塞进手机App
2. 11B版本直接对标GPT-4o-mini，MMLU得分83.6，代码生成能力比3.1提升30%
3. 最实用的是新增了视觉理解能力，给张图就能分析，省得再调CLIP模型

实测建议：想搞端侧AI的兄弟直接上4B量化版，用llama.cpp转GGUF格式，内存占用不到2GB。做专业应用的看11B，配合vLLM部署，单张4090就能跑。

注意坑：这两个版本对中文支持还是拉胯，建议用Chinese-Llama-3.2微调基座。另外别信官方说的“零成本迁移”，实际需要重写部分tokenizer逻辑。

仓库地址：github.com/meta-llama/llama-models/releases/tag/v0.3.2
快去下载体验，晚上我发个细粒度评测。

欢迎光临闲社 (https://dafeng.xianshe.com/)