Efficacité par jeton : pourquoi elle compte plus que la puissance brute

Un nouveau modèle d'IA « meilleur » ne signifie plus automatiquement qu'il obtient un score plus élevé sur les classements de référence ; de plus en plus, cela signifie qu'il accomplit la même tâche avec moins d'unités de calcul, donc à moindre coût. Ces unités s'appellent des jetons (tokens) — les fragments de mots qu'un modèle traite en lisant une entrée et génère en produisant une sortie — et le nombre de jetons qu'une tâche nécessite détermine en grande partie ce qu'elle coûte réellement à exécuter. Le tout dernier modèle phare d'une entreprise est devenu un exemple actuel de ce basculement du secteur, de la capacité brute vers cette « efficacité par jeton ».

Pour comprendre l'efficacité par jeton, il est utile de se rappeler ce que sont les jetons. Chaque requête et chaque réponse sont découpées en jetons, et la plupart des services d'IA commerciaux facturent les clients en fonction du nombre de jetons traités et générés. Deux modèles peuvent tous deux répondre correctement à une question, mais si l'un le fait avec trois fois moins de jetons, ce modèle offre en pratique le même résultat pour un tiers du coût.

Dans la première phase de la course à l'IA, la concurrence portait surtout sur des sauts de capacité : chaque nouveau modèle phare surpassait largement son prédécesseur sur les tests de raisonnement, de programmation ou de culture générale. À mesure que cette course a mûri, l'écart de performance brute entre les modèles de pointe s'est réduit, déplaçant le centre de gravité de la concurrence ailleurs.

Désormais, la véritable bataille consiste à offrir une qualité similaire à un coût de calcul et de jetons bien plus faible. Cela compte énormément pour les tâches de production à fort volume : si un agent conversationnel de service client ou un outil de complétion de code traite des millions de requêtes par jour, même une petite amélioration du coût par jeton se traduit par une différence importante sur la facture totale.

Plusieurs tendances techniques sous-tendent ces gains d'efficacité : des architectures de modèles plus efficaces, des données d'entraînement plus soigneusement sélectionnées, des modèles plus petits distillés à partir de modèles plus grands, et des systèmes d'orientation intelligents qui dirigent une requête donnée vers un modèle moins cher ou plus coûteux selon sa complexité. Aucune de ces avancées ne constitue à elle seule une percée spectaculaire, mais ensemble, elles tirent la courbe des coûts vers le bas.

Pour les entreprises, cela change la façon dont les budgets d'IA sont évalués. Une entreprise se demande de plus en plus non pas « quel modèle obtient le meilleur score au test », mais « quel modèle offre une qualité suffisante pour cette tâche précise au coût en jetons le plus bas ». Un seuil « suffisamment bon et bon marché » remplace un seuil « le meilleur possible » dans de nombreuses décisions d'entreprise.

Pour les utilisateurs finaux, l'efficacité par jeton a aussi des conséquences concrètes : une inférence moins chère signifie que les applications grand public peuvent toucher un public plus large à moindre coût, ou via des offres gratuites plus généreuses. Un modèle qui consomme moins de jetons en coulisses se traduit généralement, pour l'utilisateur, par des réponses plus rapides et des prix d'abonnement plus bas.

Cette dynamique n'est propre à aucune entreprise en particulier ; presque tous les grands laboratoires d'IA cherchent désormais à la fois à augmenter la capacité et à offrir cette même capacité moins cher. La concurrence se joue de plus en plus non seulement sur qui sort le modèle le plus intelligent, mais sur qui délivre cette même intelligence avec moins de ressources.

Il faut noter que l'efficacité peut s'accompagner de compromis. Un modèle optimisé pour être moins cher par jeton peut encore accuser un retard par rapport aux modèles de pointe, plus coûteux, sur les tâches de raisonnement les plus difficiles — des preuves mathématiques à plusieurs étapes ou des problèmes de planification longs et complexes, par exemple. L'efficacité ne remplace pas universellement la capacité brute pour toutes les tâches.

Au cours des prochaines années, le fil conducteur des progrès de l'IA se lira probablement moins dans les classements de référence que dans la vitesse à laquelle les courbes de coûts baissent. L'indicateur le plus surveillé par les investisseurs et les clients d'entreprise pourrait finir par ne pas être quel modèle obtient le meilleur score, mais quel fournisseur peut offrir la même qualité pour le moins d'argent.