Loading...
⚡
Infini-Attention アーキテクチャ(IAA)
有界メモリと圧縮的アテンション機構を用いた、Google による画期的な無限コンテキスト処理
複雑さ: highコンテキスト管理
In 30 seconds
- What
- 直近のトークンへのローカルな注意と、古いトークンへの圧縮された注意を、有界なメモリの中で組み合わせ、実効的な文脈長を伸ばします。
- When to use
- 際限なく続くストリームを処理する長時間稼働のシステムで、履歴全体が重要でありながらメモリは一定に保たなければならない場合。
- Watch out
- 圧縮は情報を失います。遠い文脈の想起が劣化しても自分のタスクが耐えられるかを、本番投入の前に確かめてください。
Loading technique guide…