Loading...
⚡
Infini-Attention 架构(IAA)
Google 的突破性无限上下文处理，采用有界内存和压缩式注意力机制
复杂度: high上下文管理
In 30 seconds
- What
- 在有界内存内，把对近期 token 的局部注意力与对较早 token 的压缩注意力结合起来，从而扩展有效上下文。
- When to use
- 处理无界数据流的长时间运行系统：完整历史很重要，但内存必须保持恒定。
- Watch out
- 压缩会丢失信息；上线前请确认你的任务能容忍对远距离上下文的回忆质量下降。
Loading technique guide…