ChatGPT 背后有多少台服务器？答案可能超乎想象
每次用 ChatGPT，几秒就得到回答。这背后是多少服务器在支撑？今天说说 AI 平台的算力基础设施。
AI 平台用的是什么服务器？
NVIDIA DGX 系列
OpenAI 等大厂用的服务器。
• DGX A100：内置 8 张 A100 显卡
• DGX H100：内置 8 张 H100 显卡
• 单台售价约 20-30 万美元
自研服务器
大厂自己设计的服务器。
• 谷歌 TPU 服务器
• 微软定制的 AI 服务器
这些服务器集群有多大？
小型 AI 公司
几十到几百张显卡
支持几千到几万用户同时使用
中型 AI 公司
几千张显卡
支持几十万用户
巨头 AI 公司
数万到数十万张显卡
支持数亿用户
数据中心是什么样的？
规模
一个数据中心可能有数万甚至数十万台服务器。
散热
这么多服务器散热是问题。需要大型空调、水冷系统。
电力
一个大型数据中心耗电量相当于一个小城市。
这些服务器从哪来？
自建
大厂自己建设数据中心。
租用
租用云计算服务商的数据中心。
合作
和芯片厂商合作，获得优先供货。
常见问题
Q：服务器坏了怎么办？
A：有备用服务器，自动切换。
Q：中国有类似的 AI 服务器吗？
A：有。阿里、腾讯、百度都有自己的数据中心。
Q：为什么 AI 服务会宕机？
A：服务器过载、故障或网络问题都可能导致。
总结
AI 平台背后是庞大的服务器集群。
从几十张到几十万张显卡不等。
耗电巨大，需要专业的数据中心支撑。
正文完
