Introduction : Une décision contre-courante
Dans un marché où tout le monde semble développer des routeurs de modèles de langage (LLM), pourquoi une entreprise comme Manifest choisirait-elle de faire marche arrière et de déprécier la sienne ? Cette décision, qui pourrait paraître surprenante à première vue, est en réalité fondée sur des constats pratiques et des retours d'expérience concrets.
Le phénomène des routeurs LLM
Les routeurs LLM ont explosé sur le marché avec la promesse de réduire les coûts d'inférence en sélectionnant dynamiquement le modèle le plus approprié pour chaque requête. En théorie, cela semble être une solution idéale : pourquoi mobiliser un modèle coûteux pour une tâche simple ? Cependant, la pratique montre que cette approche présente des limitations significatives.
Un contexte complexe
Lorsque Manifest a lancé son routeur LLM en mars, l'objectif était clair : optimiser les coûts et améliorer l'efficacité. Le routeur classifiait chaque requête en quatre niveaux de complexité : simple, standard, complexe et raisonnement. Mais après seulement quatre mois et plus de 7000 utilisateurs, les résultats ont été mitigés. Le problème principal ? La complexité d'une tâche ne peut pas être déduite uniquement à partir de l'invite.
Les limites des routeurs LLM
Complexité au-delà de l'invite
L'invite elle-même n'est que le déclencheur. Beaucoup de contextes qui déterminent la complexité d'une tâche sont découverts plus tard, via des appels d'outils, des recherches web, etc. Par exemple, "évaluer les tests pour le dépôt $GIT_REPO et les améliorer" peut être simple ou complexe selon le contexte, un facteur que le routeur ne pouvait pas anticiper.
Problèmes de coûts et de fiabilité
Malgré les promesses de réduction des coûts, l'utilisation de routeurs LLM a conduit à des problèmes de fiabilité et à des coûts imprévus dus à des routages incorrects. De nombreux utilisateurs ont signalé des problèmes sur GitHub, ce qui a entraîné des discussions animées au sein de la communauté.
Pourquoi un modèle unique peut être plus efficace
En fin de compte, Manifest a conclu que, pour la plupart des cas d'utilisation, s'en tenir à un modèle éprouvé et robuste était la meilleure option. Cela réduit les risques d'erreurs et simplifie le développement. De plus, cela permet de mieux contrôler les coûts sans compromettre la fiabilité.
L'importance de la stabilité et du contrôle
Pour les développeurs et les entreprises, la stabilité et le contrôle sont cruciaux. Un modèle unique simplifie l'infrastructure et réduit la complexité des systèmes, ce qui est souvent plus bénéfique que les économies de coût potentielles promises par les routeurs LLM.
Conclusion
La décision de Manifest de déprécier son routeur LLM souligne l'importance de l'efficacité et de la fiabilité dans le développement d'IA. Alors que le marché continue d'évoluer, il est essentiel de se concentrer sur des solutions qui offrent une réelle valeur ajoutée.
Discutons de ton projet en 15 minutes.