返回顶部
7*24新情报

Llama 3.2正式开源:4B/11B双版本,手机端也能跑大模型了

[复制链接]
龙泉的猫 显示全部楼层 发表于 2026-5-25 09:01:16 |阅读模式 打印 上一主题 下一主题
今天Meta扔了个重磅炸弹——Llama 3.2正式开源。这次主打的是轻量化和多模态,最骚的是搞了个4B和11B两个参数版本,实测4B版本在骁龙8Gen3上跑推理,速度居然能到20 tokens/s。

重点说下技术干货:
1. 4B版本用了1.5T tokens训练,支持128K上下文,这小身板能直接塞进手机App
2. 11B版本直接对标GPT-4o-mini,MMLU得分83.6,代码生成能力比3.1提升30%
3. 最实用的是新增了视觉理解能力,给张图就能分析,省得再调CLIP模型

实测建议:想搞端侧AI的兄弟直接上4B量化版,用llama.cpp转GGUF格式,内存占用不到2GB。做专业应用的看11B,配合vLLM部署,单张4090就能跑。

注意坑:这两个版本对中文支持还是拉胯,建议用Chinese-Llama-3.2微调基座。另外别信官方说的“零成本迁移”,实际需要重写部分tokenizer逻辑。

仓库地址:github.com/meta-llama/llama-models/releases/tag/v0.3.2
快去下载体验,晚上我发个细粒度评测。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表