提升智能的三条路径。

扩大模型规模、增加训练数据，或投入更多推理计算，都能沿现有路径继续提升能力。随着收益递减，每一步提升所需的投入也越来越大。

提高效率，是为了用更少的资源获得相近的模型能力。量化、稀疏注意力、推测解码、自适应计算等方法，分别从存储、计算或延迟等方面降低开销。

模型规模和数据规模长期推动着大模型能力的提升。o1 等模型又展现了推理时计算的潜力。我们继续探索新的维度，循环深度、模型适应性、上下文信息密度等都是其中的方向。