配置不够又想做 AI?选对模型很重要
不是每个人都能花几万块配电脑。但只要选对模型,低配电脑也能流畅使用 AI。
今天推荐几款适合低配置电脑的轻量化模型。

不同配置能跑什么模型?
集显 / 入门独显(4-6GB 显存)
• TinyLlama 1B:最小的开源模型之一
• Phi-2:微软出品,效率很高
• Qwen 1.8B:阿里出品,中文支持好
能做什么:简单对话、翻译、摘要
RTX 3060/3050(6-8GB 显存)
• Llama 2 7B 量化版
• Qwen 7B 量化版
• Mistral 7B 量化版
能做什么:中等难度对话、写作辅助
RTX 3060 12G/3070(8-12GB 显存)
• Llama 2 13B
• Qwen 14B
能做什么:复杂对话、代码编写

轻量化模型推荐
TinyLlama
• 1.1B 参数
• 只有 1GB 大小
• 适合 CPU 运行
Phi-2
• 2.7B 参数
• 微软优化
• 性能优秀
Qwen-1.8B
• 1.8B 参数
• 中文支持好
• 速度快
模型量化的选择
INT8 量化
显存减少 50%,性能几乎不变。
INT4 量化
显存减少 75%,性能略有下降。
推荐设置:7B 模型用 INT8,13B 以上用 INT4。
使用建议
工具选择
• Ollama:最简单,一键安装
• llama.cpp:最省资源
• LM Studio:界面友好
使用场景
• 离线使用
• 学习编程
• 简单对话
常见问题
Q:小模型效果差很多吗?
A:日常对话够用,复杂任务不如大模型。
Q:量化会影响效果吗?
A:INT8 几乎无影响,INT4 略有下降。
Q:手机能跑这些模型吗?
A:可以,但会更慢。1B 模型手机上可以运行。
总结
低配置电脑选对模型很重要。
1-3B 模型适合集显电脑,7B 模型适合入门独显。
量化处理可以大幅降低硬件要求。
