Introduction
Dans l'univers complexe des services web, les données sont le nerf de la guerre. Pourtant, se fier uniquement à la moyenne pour évaluer la performance peut être trompeur. Le cas de Farid Zakaria, qui a tenté d'optimiser les performances de lld à son travail, illustre bien ce problème. Les tableaux de bord en production ne reflétaient pas les améliorations visibles dans les benchmarks. Ce décalage pousse à réévaluer notre relation avec la moyenne.
Le piège de la moyenne
La moyenne est souvent utilisée pour simplifier des ensembles de données complexes. Cependant, elle ne raconte qu'une partie de l'histoire. Par exemple, une latence moyenne qui passe de 112 ms à 122 ms peut sembler inquiétante. Pourtant, ce chiffre unique peut masquer des variations significatives dans les données.
Prenons un exemple concret : un service web qui déploie un nouveau niveau de cache pour réduire la latence des requêtes. La moyenne indique une augmentation de la latence, mais une analyse plus détaillée révèle des histoires différentes selon les percentiles :
- Médiane (p50) : La latence médiane passe de 99 ms à 54 ms, soit une amélioration de 46%.
- P95 : La latence des pires 5% de requêtes double quasiment, passant de 224 ms à 454 ms.
- P99 : Une augmentation encore plus marquée avec une latence passant de 309 ms à 678 ms.
Voir au-delà des chiffres
Les visualisations de données comme les fonctions de distribution cumulée (CDF) permettent de mieux comprendre la distribution globale des données. Une CDF montre la probabilité qu'une variable soit inférieure ou égale à une certaine valeur, offrant ainsi une perspective plus complète.
L'importance des percentiles
Les percentiles, comme p50, p95, et p99, sont essentiels pour comprendre les performances des systèmes en production. Par exemple, bien que la moyenne ait augmenté, une baisse significative de la médiane indique que la majorité des requêtes sont plus rapides. En revanche, les augmentations des p95 et p99 révèlent que les pires scénarios se sont détériorés.
Exemples concrets
Prenons le cas de grandes entreprises tech comme Amazon ou Google, où l'optimisation des performances est cruciale. Ces entreprises utilisent souvent des percentiles pour évaluer l'impact des changements sur leurs systèmes. Google, par exemple, ne se contente pas de la moyenne, mais examine régulièrement les p95 et p99 pour s'assurer que les performances restent optimales même dans les pires cas.
Conclusion
La moyenne ne devrait pas être le seul indicateur de performance. Les outils comme les CDF et l'analyse des percentiles offrent une vue plus nuancée et précise. En tant que décideur ou ingénieur, il est crucial d'adopter une approche complète pour éviter les mauvaises interprétations des données.
Discutons de ton projet en 15 minutes.