开源大模型本地部署排行榜
按参数量分档 · 含上下文长度 · 数据每日自动更新
UPDATED 2026-09-24
≤16B · 轻薄级（笔记本/小显存可跑）
| # | 模型 | 参数 | 上下文 |
|---|---|---|---|
| 1 | granite-4.2-8b | 8B | 131K |
| 2 | qwen3.5-9b | 9B | 262K |
| 3 | ministral-14b-2512 | 14B | 262K |
| 4 | ministral-8b-2512 | 8B | 262K |
| 5 | ministral-3b-2512 | 3B | 131K |
| 6 | qwen3-vl-8b-thinking | 8B | 131K |
| 7 | qwen3-vl-8b-instruct | 8B | 262K |
| 8 | llama-guard-4-12b | 12B | 164K |
≤35B · 主流级（24G 单卡甜点）
| # | 模型 | 参数 | 上下文 |
|---|---|---|---|
| 1 | Qwen3.8 27B | 27B | 1000K |
| 2 | Nemotron-3 Nano Omni 30B (A3B)免费 | 30B | 256K |
| 3 | qwen3.6-35b-a3b | 35B | 262K |
| 4 | qwen3.6-27b | 27B | 262K |
| 5 | gemma-4-26b-a4b-it | 26B | 262K |
| 6 | gemma-4-31b-it | 31B | 262K |
| 7 | qwen3.5-35b-a3b | 35B | 262K |
| 8 | qwen3.5-27b | 27B | 262K |
≤75B · 工作站级（多卡/A100）
| # | 模型 | 参数 | 上下文 |
|---|---|---|---|
| 1 | qwen2.5-vl-72b-instruct | 72B | 128K |
| 2 | deepseek-r1-distill-llama-70b | 70B | 8K |
| 3 | llama-3.3-70b-instruct | 70B | 131K |
| 4 | qwen-2.5-72b-instruct | 72B | 33K |
| 5 | llama-3.1-70b-instruct | 70B | 131K |
≤128B · MoE 高效级
| # | 模型 | 参数 | 上下文 |
|---|---|---|---|
| 1 | Nemotron-3 Super 120B (A12B) | 120B | 262K |
| 2 | qwen3.5-122b-a10b | 122B | 262K |
| 3 | qwen3-next-80b-a3b-thinking | 80B | 262K |
| 4 | qwen3-next-80b-a3b-instruct | 80B | 262K |
| 5 | gpt-oss-120b | 120B | 131K |
≤260B · 旗舰 MoE
| # | 模型 | 参数 | 上下文 |
|---|---|---|---|
| 1 | qwen3-vl-235b-a22b-thinking | 235B | 131K |
| 2 | qwen3-vl-235b-a22b-instruct | 235B | 262K |
| 3 | qwen3-235b-a22b-thinking-2507 | 235B | 131K |
| 4 | qwen3-235b-a22b-2507 | 235B | 262K |
| 5 | qwen3-235b-a22b | 235B | 131K |
>260B · 超大杯
| # | 模型 | 参数 | 上下文 |
|---|---|---|---|
| 1 | Qwen3.8 2.4T (A95B) | 2400B | 1049K |
| 2 | Nemotron-3 Ultra 550B (A55B) | 550B | 262K |
| 3 | qwen3.5-397b-a17b | 397B | 262K |
选型建议：预算有限先用 ≤16B 档（12G 显存可跑，ollama 一键部署）；追求质量与成本平衡选 ≤35B MoE 档（激活参数小、单卡 24G 流畅）；企业知识库问答推荐 ≤75B 或 MoE 旗舰档。 不确定选哪个？微信咨询，免费帮你评估硬件与模型匹配度 → 联系咨询