投机式与并行工具执行(STE)

根据智能体反复出现的执行轨迹预测最有可能的下一次工具调用，并在 LLM 仍在生成时投机式地执行该调用；在模型确认此次调用之前，投机结果保持隔离，一旦预测错误便将其丢弃。它还涵盖在流式用户回合进行到一半时启动检索，以及返回部分或流式的工具结果。它有别于 async-await、fork-join、scatter-gather 和 map-reduce，后几者都是对已确定且已知相互独立的调用进行扇出；此处的新意在于对尚未确认的预测调用先行动作，从而让工具延迟与生成过程相重叠，而非发生在生成之后。