Token

Un token, qu'est-ce que c'est exactement ?

Un token est le plus petit morceau de texte qu'une IA générative manipule. Ce n'est ni tout à fait un mot, ni une lettre : c'est une unité intermédiaire. Un mot courant compte souvent pour un seul token, mais un mot long ou rare est découpé en plusieurs morceaux. La ponctuation et les espaces comptent eux aussi. L'IA ne voit pas des phrases, elle voit une suite de tokens.

Le mot « token » vient de l'anglais et signifie « jeton ». L'image est bonne : votre texte est converti en une suite de jetons que le modèle lit un par un, puis il produit sa réponse en posant de nouveaux jetons à la suite.

Un modèle de langage ne comprend pas les mots comme un humain. Avant tout traitement, il transforme le texte en tokens à l'aide d'un système appelé tokeniseur. C'est cette liste de tokens, et rien d'autre, qui entre dans le modèle.

L'idée à retenir : le token est la vraie unité de compte de l'IA. Tout ce qui touche à la taille d'un échange, à ses limites et à son prix se mesure en tokens, pas en mots ni en pages.

Combien de mots représente un token ?

En français, on retient une règle simple : environ 100 tokens pour 70 à 75 mots, soit à peu près 1,3 token par mot. Un mot courant comme « table » compte pour un token, tandis qu'un mot long comme « anticonstitutionnellement » est découpé en plusieurs. Cette moyenne suffit pour estimer un budget, mais le chiffre exact dépend du texte et de la langue.

Pour donner un ordre de grandeur : une page A4 de texte représente autour de 500 mots, soit environ 650 à 750 tokens. Un e-mail professionnel de dix lignes tourne autour de 150 à 250 tokens.

Le français consomme un peu plus de tokens que l'anglais, car ses mots sont souvent plus longs et ses accents découpés à part. À contenu égal, un texte français coûte donc légèrement plus cher qu'un texte anglais.

Vous n'avez pas à calculer cela à la main. Ce qu'il faut garder en tête, c'est l'ordre de grandeur : mille mots correspondent grosso modo à 1 300 tokens, ce qui permet d'estimer un coût avant même de lancer un projet.

• 1 token ≈ 0,75 mot en français (règle approximative)
• 1 000 mots ≈ 1 300 tokens
• 1 page A4 ≈ 650 à 750 tokens
• Un mot courant = 1 token, un mot long = plusieurs tokens
• Ponctuation et espaces comptent aussi comme tokens

Comment le modèle découpe-t-il un texte en tokens ?

Le découpage se fait par un tokeniseur, un programme qui coupe le texte en morceaux fréquents. Les mots courants restent entiers, les mots rares sont coupés en syllabes ou en fragments connus du modèle. Ce découpage se fait à l'entrée, quand l'IA lit votre demande, et à la sortie, quand elle génère sa réponse mot après mot, token après token.

Le tokeniseur est entraîné pour repérer les combinaisons de lettres les plus fréquentes. « Bonjour » est si courant qu'il tient en un seul token, alors qu'un nom propre ou un terme technique inédit sera découpé en plusieurs fragments.

Ce découpage explique un point souvent mal compris : l'IA ne travaille pas au niveau du sens, mais au niveau du token. Elle prédit le prochain token le plus probable, puis le suivant, jusqu'à composer une réponse complète.

C'est aussi pour cela qu'une IA peut buter sur des tâches qui semblent triviales, comme compter les lettres d'un mot. Elle ne voit pas des lettres, elle voit des tokens, ce qui change complètement sa façon de « lire ».

Pourquoi les outils d'IA facturent-ils au token ?

La plupart des IA génératives accessibles par API facturent selon le nombre de tokens échangés : les tokens envoyés (votre demande) et les tokens produits (la réponse). Chaque token consomme de la puissance de calcul, donc de l'électricité et du matériel. Facturer au token permet de faire payer chacun à l'usage réel, sans abonnement fixe déconnecté de la consommation.

Les tarifs distinguent souvent deux prix : un pour les tokens en entrée (ce que vous envoyez) et un, généralement plus élevé, pour les tokens en sortie (ce que le modèle génère). Une longue réponse coûte donc plus cher qu'une courte.

Concrètement, si vous collez un rapport de dix pages dans une IA et lui demandez un résumé, vous payez les tokens du rapport entier plus ceux du résumé. Le document d'entrée pèse dans la facture, même si la réponse est brève.

Cette logique change la façon de piloter un projet IA. Un usage ponctuel via ChatGPT en abonnement mensuel ne pose pas de question de tokens. Mais dès qu'on automatise des milliers de traitements via une API, le coût au token devient une ligne budgétaire à surveiller de près.

• Tokens en entrée : votre demande, le contexte, les documents collés
• Tokens en sortie : la réponse générée par le modèle
• Sortie souvent facturée plus cher que l'entrée
• Abonnement grand public : pas de calcul de tokens à faire
• Usage via API : le coût au token devient un vrai poste budgétaire

À quoi sert le token dans un projet d'entreprise ?

Dans un projet d'entreprise, le token sert d'unité de mesure pour deux choses : le coût et la capacité. Le coût, parce que la facture d'une IA branchée sur vos outils se calcule en tokens. La capacité, parce que la quantité de texte qu'un modèle peut traiter en une fois, sa fenêtre de contexte, s'exprime aussi en tokens. Maîtriser cette unité, c'est piloter le budget et les limites de vos usages.

Prenons un cas concret : une entreprise veut analyser automatiquement 5 000 avis clients par mois. Chaque avis fait environ 100 tokens, la réponse d'analyse 80. Multiplié par 5 000, cela donne un volume mensuel précis qu'on peut chiffrer à l'euro près avant de lancer le projet.

Autre exemple : un assistant qui doit lire un contrat de 40 pages pour en extraire les clauses clés. Ces 40 pages représentent environ 30 000 tokens. Il faut vérifier que le modèle choisi accepte un tel volume dans sa fenêtre de contexte, sinon il faudra découper le document.

Le token est donc l'outil qui transforme une envie d'IA en projet chiffrable. Sans lui, impossible de répondre aux deux questions qui décident de tout : combien ça coûte, et qu'est-ce que ça peut avaler en une fois.

Quelles erreurs et pièges éviter avec les tokens ?

Les pièges les plus fréquents sont de confondre token et mot dans les estimations, d'oublier que les documents collés en entrée sont facturés, et de sous-estimer le coût d'un usage massif automatisé. Autre erreur classique : dépasser sans le savoir la fenêtre de contexte, ce qui fait « oublier » à l'IA le début d'un long échange. Comprendre le token évite ces mauvaises surprises.

Le piège numéro un est budgétaire. Un test réussi sur quelques exemples semble gratuit ou presque. Multiplié par plusieurs milliers de traitements par mois, le même usage devient une facture sérieuse si personne n'a fait le calcul en tokens au départ.

Deuxième piège : penser que seule la réponse coûte. Coller un long document, un historique de conversation ou un gros contexte gonfle les tokens en entrée, souvent bien plus que la réponse elle-même. On paie tout ce qu'on envoie.

Troisième piège : ignorer la limite de la fenêtre de contexte. Chaque modèle a un plafond de tokens qu'il peut traiter d'un coup. Au-delà, il coupe ou perd le début. Sur un long document ou une longue conversation, cela produit des réponses incohérentes qu'on croit à tort être un « bug ».

• Confondre token et mot dans les estimations de coût
• Oublier que les documents collés en entrée sont facturés
• Sous-estimer le coût d'un usage automatisé à grande échelle
• Dépasser la fenêtre de contexte sans s'en rendre compte
• Envoyer trop de contexte inutile qui gonfle la facture

Quels termes sont liés au token ?

Le token s'entoure de plusieurs notions clés : la tokenisation, qui est l'opération de découpage ; la fenêtre de contexte, qui fixe le nombre maximal de tokens traités en une fois ; l'API, par laquelle la facturation au token s'applique ; et le LLM, le grand modèle de langage qui manipule ces tokens. Ces termes forment la base pour comprendre les coûts et les limites d'une IA générative.

La tokenisation est l'étape technique qui transforme votre texte en tokens avant tout traitement. Elle est invisible pour l'utilisateur, mais elle conditionne le comptage et donc le prix.

La fenêtre de contexte est le plafond de tokens qu'un modèle peut prendre en compte simultanément. C'est elle qui détermine si un long document tient en une seule requête ou s'il faut le découper.

L'API est le point d'accès par lequel un logiciel se branche sur l'IA. C'est là que la facturation au token s'applique directement, contrairement à un abonnement grand public. Le LLM, enfin, est le moteur qui lit et génère ces tokens à chaque échange.

• Tokenisation : le découpage du texte en tokens
• Fenêtre de contexte : le nombre max de tokens traités d'un coup
• API : le canal où s'applique la facturation au token
• LLM : le grand modèle de langage qui manipule les tokens

Pourquoi comprendre le token est-il important pour votre entreprise ?

Comprendre le token, c'est éviter deux erreurs coûteuses : lancer un projet IA sans budget réaliste, et se heurter à des limites techniques qu'on n'avait pas anticipées. Une équipe qui raisonne en tokens sait chiffrer un usage, choisir le bon modèle et optimiser ses demandes pour réduire la facture. C'est une compétence de pilotage, pas seulement de technique, et elle fait la différence entre une IA rentable et une IA qui dérape.

Le constat est clair en accompagnement : beaucoup d'entreprises se lancent sans jamais parler de tokens, puis découvrent des coûts imprévus ou des réponses tronquées. Le problème n'est pas l'outil, c'est l'absence de repères pour le cadrer.

Une équipe formée sait poser les bonnes questions avant de démarrer : combien de tokens par traitement, combien de traitements par mois, quelle fenêtre de contexte nécessaire. Ces trois chiffres suffisent à décider si un projet est viable et à quel prix.

Le token n'est pas un détail réservé aux développeurs. C'est l'unité qui relie l'usage de l'IA à son coût réel. La comprendre permet aux dirigeants comme aux équipes métier de piloter l'IA avec les mêmes réflexes que n'importe quel autre poste de dépense.