C'est lent, et c'est mesuré
4 à 5 tokens par seconde : une réponse de trois cents mots prend une bonne minute. Ce n'est pas un défaut de réglage. Ce qui plafonne un téléphone, ce n'est ni son processeur ni ses 12 Go de mémoire, c'est sa bande passante mémoire de 51,2 Go/s — chaque token généré relit tout le modèle.
On ne déduit donc plus le modèle des caractéristiques annoncées : l'application mesure elle-même le débit de l'appareil au premier lancement, et c'est cette mesure qui décide de ce qu'il fera.
Un téléphone qui génère chauffe et se décharge
Une génération continue fait monter la température, et Android bride le processeur au bout d'une minute environ : le débit peut perdre la moitié. La batterie descend visiblement si l'appareil n'est pas branché.
C'est pour ça que le coordinateur lit la batterie, la température et le réseau avant de confier quoi que ce soit. Sous 40 % de batterie sans chargeur, au-delà de 42 °C, ou sur réseau mobile quand le WiFi est exigé, l'appareil est mis en retrait — et l'écran dit pourquoi. Vous pouvez aussi le mettre en pause d'un geste, à tout moment.