Qu'est-ce que la température en intelligence artificielle ?

Définition technique de la température

La température est un paramètre de réglage utilisé lors de la phase d'inférence des modèles de langage (LLM). Elle intervient lors de l'étape de sélection des probabilités des jetons (tokens) suivants, modifiant la distribution de probabilité softmax avant que le modèle ne choisisse le mot à générer.

Plus précisément, elle divise les logits avant l'application de la fonction softmax. Une température proche de zéro écrase la distribution, rendant le choix du token le plus probable quasi certain, tandis qu'une température élevée aplatit cette distribution, rendant les choix moins probables plus compétitifs.

Le rôle du déterminisme vs créativité

L'usage principal de la température réside dans la gestion de l'équilibre entre la répétition factuelle et la génération créative. C'est l'outil privilégié pour définir le ton et la pertinence d'une réponse assistée par IA.

Lorsque la température est fixée à 0, le modèle devient 'déterministe', ce qui signifie qu'il choisira systématiquement le jeton ayant la probabilité la plus élevée. C'est idéal pour le code informatique, les questions factuelles ou l'extraction de données.

Impact des valeurs élevées sur la génération

En augmentant la température (au-delà de 0.7 ou 0.8), le modèle explore des options moins évidentes et moins probables. Cela injecte de la diversité dans le langage et permet de produire des textes plus originaux, imagés ou surprenants.

Cependant, une température trop élevée peut mener à des hallucinations, des incohérences syntaxiques ou une perte de fil conducteur. L'ajustement nécessite donc un équilibre subtil selon la tâche assignée à l'IA.

Cas d'usage pratiques

Pour des applications métier comme la rédaction juridique ou l'analyse de données, il est recommandé d'utiliser une température faible (entre 0 et 0.2). Cela garantit la fiabilité des informations et limite les risques d'inventions non fondées.

Pour des tâches créatives comme la rédaction de fiction, le brainstorming marketing ou l'écriture poétique, des valeurs supérieures à 0.7 sont préférables afin d'encourager le modèle à explorer un lexique plus riche et des structures de phrases variées.

Relation avec l'échantillonnage (Sampling)

La température est étroitement liée aux méthodes d'échantillonnage comme le Top-K ou le Top-P (Nucleus Sampling). Ensemble, ils forment le cadre de contrôle de la génération textuelle.

Alors que la température modifie la courbe des probabilités, le Top-P limite le champ des possibles aux tokens les plus probables dont la somme atteint un certain seuil. Utiliser ces outils conjointement permet de limiter les dérives tout en gardant une certaine fluidité stylistique.