C’est quoi un token dans l’IA ? Tout comprendre à une notion primordiale

Si vous suivez un petit peu les annonces autour de l’IA, vous avez sans doute déjà croisé la notion de « token », notamment pour parler du prix ou de l’efficacité d’un grand modèle de langage (LLM).

Le token (qui peut se traduire par jeton en français), c’est l’unité de base de toute IA générative. Comprendre ce que c’est est donc essentiel quand on cherche à mieux comprendre le secteur de l’intelligence artificielle.

À lire aussi :
Comment installer un modèle LLM type ChatGPT sur PC ou Mac en local ? Voici le guide ultime pour tous

Un token, c’est quoi au juste ?

Première chose à savoir absolument : une IA ne lit pas du texte comme nous. Pour elle, le langage n’est qu’une suite de chiffres. Comme l’explique l’entreprise de développement Intuz, les machines ne comprennent pas les mots : avant d’être compris par le LLM, le texte doit être converti en une forme exploitable. Cette étape s’appelle la tokenisation.

Concrètement, pendant ce processus, l’IA découpe votre phrase en petits bouts. Chacun de ces bouts est un token. Attention cependant, un token peut être un mot entier, un bout de mot, ou même un signe de ponctuation. Le modèle travaille toujours avec ces briques-là, jamais avec des mots tels qu’on les écrit.

Pour donner un ordre de grandeur, la documentation d’OpenAI donne une règle simple en anglais : 1 token vaut environ 4 caractères, soit à peu près les trois quarts d’un mot. Autrement dit, 100 mots font grosso modo 130 tokens. C’est une moyenne, pas une règle absolue : un mot courant comme « the » tient en un seul token, mais il en faut plusieurs pour un terme plus rare.

Pourquoi le français coûte plus cher en tokens

C’est là que ça devient frustrant pour les francophones. Ces modèles IA ont été entraînés majoritairement sur de l’anglais. Ce n’est pas étonnant puisqu’une grosse partie d’entre eux nous viennent des États-Unis.

La tokenisation en anglais est donc devenue très efficace. Un mot courant comme « amazing » passe en un seul token, c’est parfait. Hélas, son équivalent français « incroyable » sera souvent découpé en plusieurs morceaux, par exemple : « incro » + « yable », soit deux tokens.

En anglais	1 token ≈ 0,75 mot
En français	1 token ≈ 0,70 mot

Bref, dire exactement la même chose en français consomme plus de tokens qu’en anglais. Et le français n’est pas la seule langue dans ce cas, loin de là.

D’ailleurs, nous autres francophones ne sommes pas si mal lotis. Pour les langues relativement proches de l’anglais, comme le français, ce phénomène est encore modéré.

Une étude de chercheurs d’Oxford (2023) chiffre à environ 50 % le surcoût pour traiter un texte en allemand ou en italien par rapport à l’anglais. Pour les langues qui n’utilisent pas l’alphabet latin, l’addition grimpe beaucoup plus haut, jusqu’à plus de quinze fois pour les langues les plus mal loties.

Le tableau ci-dessous, s’appuyant sur les décomptes publiés par le blog From Tokens to Agents, est assez parlant.

Langue	Phrase de salutation	Nombre de tokens
Anglais	Hello, how are you?	6
Espagnol	Hola, ¿cómo estás?	9
Japonais	こんにちは、お元気ですか？	11
Hindi	नमस्ते, आप कैसे हैं?	19
Thaï	สวัสดี คุณเป็นอย่างไร?	24

Pour un message identique sur le fond, le thaï coûte quatre fois plus de tokens que l’anglais. Le français ne s’en tire donc pas si mal, mais il reste structurellement plus « cher » que l’anglais. C’est l’une des raisons pour lesquelles certains acteurs européens, comme Mistral avec ses modèles entraînés sur davantage de données francophones, mettent en avant une tokenisation mieux adaptée à nos langues.

Fenêtre de contexte : la « mémoire » de l’IA

Après avoir compris la notion de token, on peut donc s’attaquer à celle de la fenêtre de contexte. Ce terme désigne la quantité de texte que l’IA peut garder en tête en même temps.

Par exemple, selon Google, son modèle Gemini 3.5 Flash jouit d’une fenêtre de contexte d’un million de tokens en entrée (input), ce qui représente environ 700 000 mots en français (contre 750 000 mots en anglais).

À lire aussi :
Gemini : notre guide pour tout comprendre l’IA de Google

Autrement dit, en une seule fois, vous pouvez envoyer une requête de 700 000 mots (l’équivalent de plusieurs gros romans) et Gemini 3.5 Flash est censé pouvoir tout lire et tout prendre en considération.

Dans une conversation avec une IA, cette fenêtre de contexte lui permet de ne pas oublier vos premiers messages et de bien garder en mémoire les sujets abordés tout au long de votre conversation.

La taille des fenêtres de contexte a d’ailleurs explosé. Rendez-vous compte, au début de ChatGPT, il fallait composer avec une capacité d’environ 4 000 tokens.

Les tokens et le coût de l’IA

Terminons par l’aspect financier. Dans les abonnements payants des assistants IA ou dans le coût d’exploitation des API utilisées par les développeurs et les entreprises, ce ne sont pas les mots ou les caractères qui sont facturés, mais plutôt les tokens. D’ailleurs, dans le calcul, on distingue ce que vous envoyez (les tokens d’entrée) de ce que l’IA vous répond (les tokens de sortie), ces derniers étant souvent facturés plus cher.

Prenons l’exemple du puissant modèle Claude Fable 5. Il faut compter 10 dollars pour le million de tokens en entrée et 50 dollars pour le million en sortie. L’écart est non négligeable.

Comprendre le token, c’est donc comprendre ce que va vous coûter une intelligence artificielle. Un prompt plus court, c’est moins de tokens, donc moins d’argent dépensé et plus de place dans la fenêtre de contexte. Quelques recommandations générales consistent ainsi à aller droit au but dans ses prompts et à structurer, autant que possible, ses consignes et idées en liste à puces.

À lire aussi :
La solution radicale de Google contre la crise de la RAM est super astucieuse : voici TurboQuant

Pour un usage quotidien gratuit, tout cela reste assez théorique : vous ne voyez pas vraiment passer les tokens. Mais dès que vous payez un abonnement avancé ou que vous branchez une IA sur vos propres outils via une API, alors tout de suite, connaître la notion de tokens sera crucial pour être à la fois efficace et économe.

---