推理成为新中心、Agent把生产级问题提前:AI Infra 的边界正在被重写
过去几年,AI 行业最受关注的问题往往集中在模型本身:参数还能做多大,训练需要多少 GPU,新模型又刷新了哪些 Benchmark。但当越来越多企业真的开始把 AI 放进生产系统,问题就变了:GPU 不再只有一种,模型训练和推理之间的边界越来越模糊,推理系统需要同时处理 KV Cache、Prefill、Decode 等不同负载,Agent 又开始主动产生大量并行、难以预测的请求。过去十多年,云计
事件进展(1 篇报道)
-
2026-09-11 01:15