汽车行业深度报告:AI系列深度10期:预训练与后训练如何塑造大模型?
投资要点
预训练与后训练是理解大模型能力形成的一组关键框架。预训练利用海量低成本、弱标注或无标注数据学习通用底座,决定能力来源和上限;后训练利用少量高质量指令、偏好、反馈或可验证奖励数据进行适配,决定能力的调用方式、指令遵循、偏好对齐及特定任务中的推理表现。
当前模型能力与训练的关系主要聚焦三个问题:能力主要来自预训练还是后训练,后训练究竟是塑形还是可带来新推理能力;两阶段是否正在扩展为预训练、中训练、后训练三阶段;规模化重心是否从预训练转向后训练与推理时计算。
数字AI与物理AI在训练框架上同构、在数据和反馈上分立。数字AI预训练主要依赖文本和图文语料,后训练依赖人类偏好、可验证奖励和工具反馈;物理AI复用视觉语言骨干,但还需要驾驶视频、机器人轨迹、真机数据、仿真环境和安全奖励。公共文本可能接近供给上限,而物理AI的核心瓶颈是真实交互数据稀缺。
产业视角下,预训练仍属于资本开支密集的规模竞赛,后训练与推理效率则更多体现为以较小增量投入释放模型能力的效率竞赛。随着推理模型、推理时计算和Agent应用发展,部分数字AI场景的算力重心正由训练侧向推理侧迁移;中国厂商也更多围绕后训练、推理效率、MoE、长上下文和工具调用开展工程优化。总体看,预训练决定能力底座,后训练成为重要增量来源,二者互补而非替代。
我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性,但其难以实现物理世界的建模闭环;我们认为物理AI将成为物理世界的AI解决方案,从而在AI的当前发展阶段成为增量更大的方向,智能驾驶作为最先跑通闭环的代表场景,我们认为应重点关注。
风险提示:技术迭代不及预期的风险;大模型厂商ARR增速放缓的风险;云服务商资本开支不及预期的风险;智能驾驶及机器人商业化落地不及预期的风险。