Loading...
⚡
Mise à l'échelle du calcul à l'inférence(TTC)
Alloue dynamiquement les ressources de calcul en fonction de la complexité du problème
Complexité: highTechniques de raisonnement
In 30 seconds
- What
- Alloue davantage d'étapes de raisonnement ou de puissance de calcul aux problèmes difficiles et moins aux problèmes simples, en s'ajustant en temps réel selon la difficulté détectée.
- When to use
- Quand la complexité des problèmes varie fortement et que vous pouvez tolérer une latence variable, ou quand certaines requêtes exigent un raisonnement approfondi et d'autres une réponse rapide.
- Watch out
- Estimer la complexité d'un problème à l'avance n'est pas fiable : vous risquez de dépenser trop sur des problèmes faciles ou pas assez sur des problèmes difficiles avant de repérer l'erreur.
Loading technique guide…