Qu'est-ce qu'un Token ?

Définition technique du token

Dans le contexte de l'intelligence artificielle, un token est une séquence de caractères traitée comme une unité atomique par le modèle. Ces unités permettent à l'IA de transformer du langage naturel en vecteurs mathématiques compréhensibles par les réseaux de neurones.

Le découpage en tokens n'est pas strictement lié aux mots. Les modèles utilisent des algorithmes de tokenisation pour segmenter le texte, incluant la ponctuation, les espaces et les parties de mots complexes, ce qui améliore l'efficacité du traitement.

Pourquoi utiliser des tokens plutôt que des mots ?

L'utilisation de tokens permet une gestion plus flexible de la langue. En traitant des portions de mots, l'IA peut décomposer des termes complexes, des néologismes ou même des fautes de frappe sans avoir besoin d'un dictionnaire exhaustif.

Cette méthode réduit considérablement la taille du vocabulaire que le modèle doit apprendre, tout en conservant une capacité de compréhension sémantique très fine. C'est le socle fondamental qui permet la polyvalence des modèles LLM.

Exemple concret de segmentation

Prenons le mot « intelligemment ». Un tokeniseur pourrait le diviser en plusieurs unités comme « intell », « ig », « emment ». Cette segmentation permet au modèle de reconnaître la racine « intell » commune à plusieurs termes.

Cette décomposition aide également à traiter efficacement les langues morphologiquement riches où les suffixes et préfixes changent radicalement le sens, optimisant ainsi la mémoire utilisée par le moteur d'IA.

Le rôle des tokens dans la fenêtre de contexte

La « fenêtre de contexte » représente le nombre maximum de tokens qu'un modèle peut prendre en compte simultanément lors d'une interaction. Cela inclut à la fois vos instructions, les documents fournis et l'historique de la conversation.

Si le nombre de tokens dépasse cette limite, le modèle commence à « oublier » les informations situées au début de la session. Une gestion rigoureuse des tokens est donc indispensable pour les projets impliquant de longs documents.

Impact économique des tokens

La plupart des fournisseurs d'API pour modèles d'IA facturent leurs services à la consommation de tokens. On distingue généralement les tokens en entrée (prompt) et les tokens en sortie (génération de réponse).

Optimiser la précision de vos requêtes permet de réduire drastiquement le nombre de tokens utilisés, garantissant ainsi un meilleur rapport coût-efficacité lors du déploiement d'applications basées sur l'IA.