投機的・並列ツール実行(STE)

投機的・並列ツール実行: 概要

エージェントの繰り返し現れる軌跡から次に呼び出される可能性の高いツールを予測し、LLM がまだ生成している間に投機的に実行する。投機的な結果はモデルがその呼び出しを確定するまで隔離し、予測が外れた場合は破棄する。ストリーミング中のユーザーターンの途中で検索を開始し、部分的な結果やストリーミングされたツール結果を返すことも対象とする。すでに決定済みで独立していることが分かっている呼び出しをファンアウトする async-await、fork-join、scatter-gather、map-reduce とは異なり、ここでの新規性は未確定の予測された呼び出しに対して先行して動作する点にあり、これによりツールのレイテンシが生成の後に続くのではなく生成と重なる。

• •Predicts the next tool call from recurring agent trajectories
• •Launches the predicted call while the LLM is still decoding
• •Speculative result kept isolated until the model confirms the call
• •Mispredicted calls discarded with no effect on real state
• •Mid-stream retrieval plus partial or streamed tool results
• •Overlaps tool latency with generation instead of serial round-trips