Introduction
Dans le monde des modèles de langage de grande envergure (LLMs), les performances sont souvent mesurées en termes de tokens par seconde (tok/s). Cette métrique est cruciale pour évaluer la rapidité avec laquelle un modèle peut générer du contenu, mais elle est rarement comprise en dehors des cercles techniques. Alors, que signifie vraiment le fait qu'un modèle fonctionne à 10, 100 ou 800 tok/s ? Décortiquons cela.
Comprendre la notion de "token"
Avant de plonger dans la vitesse des tokens, il est essentiel de comprendre ce qu'est un "token". Les tokens sont des unités de données que les modèles de langage utilisent pour traiter les entrées textuelles. Ils peuvent être des mots entiers, des morceaux de mots, ou même des caractères individuels, selon la tokenisation utilisée. Par exemple, le mot "processUserInput" peut être découpé en trois tokens : "process", "User", et "Input". En moyenne, en anglais, une phrase comprend environ 1,3 tokens par mot.
La vitesse en contexte
Imaginons que tu travailles sur un Raspberry Pi qui génère 5 tok/s. Ce modèle pourrait sembler lent, surtout comparé à un modèle hébergé typiquement capable de 60 tok/s, ou même aux modèles Groq atteignant 200 tok/s. Mais que représentent ces chiffres ? À 5 tok/s, tu obtiendras environ 3,8 mots par seconde, ce qui est suffisant pour des applications simples ou des tâches de génération de texte basiques.
À l'autre extrémité, les systèmes de classe Cerebras, avec 800 tok/s, peuvent produire des réponses à une vitesse où la principale limitation devient la capacité de l'utilisateur à suivre ce qui est généré. Pour les développeurs et les décideurs, comprendre ces performances permet d'évaluer la pertinence des LLMs pour des applications spécifiques.
Différenciation selon le contenu
Le type de contenu généré influence fortement la perception de la vitesse des tokens. Par exemple, le code est généralement plus dense en tokens que le texte en prose. Cela signifie qu'un taux de tok/s donné peut sembler plus rapide ou plus lent selon qu'il s'agit de texte ou de code. Dans un environnement de génération de code, 30 tok/s peuvent sembler rapides, alors que pour un texte narratif, cela pourrait être perçu comme plus lent.
Benchmarks et réalité
Les benchmarks de vitesse des tokens, tels que "47 tok/s sur un M3" ou "180 tok/s sur une 4090", sont souvent cités dans les discussions techniques. Cependant, ces chiffres peuvent ne pas refléter pleinement l'expérience utilisateur réelle. Par exemple, une démonstration de 30 tok/s peut sembler rapide dans un contexte de texte, mais lente dans un contexte de code.
Conclusion
En fin de compte, comprendre la vitesse des tokens par seconde nécessite de mettre ces chiffres en perspective avec le type de contenu et l'application de l'utilisateur. Les décideurs et développeurs peuvent ainsi mieux aligner les capacités des LLMs avec leurs besoins spécifiques.
Discutons de ton projet en 15 minutes.