先说个扎心的：很多人想本地跑 AI，结果电脑带不动
前阵子有个朋友问我，说他想本地部署个大模型玩玩。我问你电脑啥配置，他说 i5 处理器、8G 内存、核显。
我直接告诉他：别折腾了，带不动。
本地部署 AI 听起来很酷，但硬件门槛不低。今天就把这事儿讲清楚，让你知道自己的电脑到底能不能跑。
本地部署 AI 是什么意思？
简单说，就是在你自己的电脑上运行 AI 模型，而不是用 ChatGPT 那种在线服务。
为什么要本地部署？
• 隐私保护：对话数据不离开你的电脑
• 不花钱：跑起来之后随便用，不用订阅费
• 可定制：可以调整模型参数，甚至微调
• 不用网：断网也能用
缺点呢？
• 硬件要求高
• 模型能力比在线服务差
• 配置过程折腾
电脑配置要求：分档说明
最低配置（能跑，但体验一般）
• 显卡：NVIDIA RTX 3060 12G
• 内存：16G
• 硬盘：100G SSD
能跑 7B 参数模型，勉强够用。
推荐配置（体验较好）
• 显卡：RTX 4070 Ti 16G 或 RTX 4080
• 内存：32G
• 硬盘：500G SSD
能跑 13B-14B 模型，流畅度不错。
发烧配置（随便跑）
• 显卡：RTX 4090 24G
• 内存：64G
• 硬盘：1T SSD
14B 模型随便跑，部分 34B 量化也能跑。
显卡是关键
本地跑 AI，显卡是最重要的。CPU 和内存也有影响，但显卡决定能不能跑。
为什么显卡重要？
AI 模型计算量大，显卡的并行计算能力比 CPU 强太多了。用 CPU 跑，慢到你怀疑人生。
显存怎么看？
显存就是显卡的内存。模型加载到显存里才能跑。
• 7B 模型：至少 8G 显存，推荐 12G
• 13B 模型：至少 16G 显存
• 34B 模型：至少 24G 显存
Mac 用户怎么办？
M 系列芯片的 Mac 其实挺适合跑 AI 的。
• M1/M2/M3 Pro：能跑 7B
• M1/M2/M3 Max：能跑 13B 甚至更大
Mac 的优势是统一内存，CPU 和 GPU 共享内存，效率高。Ollama 对 Mac 支持很好。
常见问题
Q：没有独立显卡能跑吗？
A：能，但用 CPU 跑会非常慢。不建议。
Q：笔记本能跑吗？
A：游戏本可以，普通办公本不行。笔记本散热是问题，长时间跑可能降频。
Q：AMD 显卡能用吗？
A：能，但支持不如 NVIDIA 好。有些工具不兼容 AMD。
Q：云服务器呢？
A：可以租 GPU 云服务器，按小时计费。适合偶尔需要跑大模型的用户。
总结
本地部署 AI，显卡是关键。
RTX 3060 12G 起步，4070 Ti 体验好，4090 随便跑。
想清楚自己为什么要本地部署，别为了折腾而折腾。普通用户用在线服务其实更省心。
