大模型词元服务性能监测报告（2026年）

　　核心观察

　　从2026年1月至8月，根据国内外主流的公有云大模型Token服务性能监测结果可见，在模型参数量、上下文窗口不断增长的同时，Token服务性能呈现出不同程度的变化。

　　大模型Token服务吞吐与时延同步增加

　　1.Token服务调用成功率相对平稳，保持较高水平

　　自5月份以来，由于逐步增加了调用成功率的监测频率，偶发性失败被捕捉到的概率上升，成功率存在下降趋势，每月均值均高于99%，8月平均值为99.18%，明显优于2025年。

　　2.Token服务每秒吞吐量较2025年翻倍，仍低于国外

　　8月份国内各模型平均TPS（每秒输出Token数）达到78.23（个/秒），与2025年均值38.25（个/秒）相比实现翻倍。但8月份国外典型模型的TPS均值为112.82（个/秒），与2025年12月的51.35（个/秒）相比，提升亦超过一倍，整体优于国内。

　　3.Token服务时延有所增加，国内外趋势一致

　　今年以来，国内各模型的平均TTFT（首词时延）呈现持续提升态势，8月份均值达到1.26秒，相较于2025年平均值0.78秒明显增加。但同时8月份国外典型模型TTFT平均值达到2.08秒，相比4月份1.04秒亦明显增加。值得注意的是，TTFT上升并非单纯的性能退化，而是伴随着模型参数量增加、上下文长度增加、调用量增加等多种因素同步产生的结果。