Introduction
En 2024, j'ai quitté mon emploi dans une entreprise FAANG pour devenir chercheur indépendant. Pour cela, j'avais besoin de ressources GPU puissantes. J'ai donc construit "grumbl", un serveur contenant 6 GPU 6000 Ada, pour un coût total de 48 000 $. La question cruciale était : cet investissement en valait-il la peine, ou aurais-je dû louer des GPU dans le cloud ?
Pourquoi construire un serveur GPU ?
À première vue, 48 000 $ peut sembler exorbitant pour un serveur GPU. Cependant, en tant que chercheur, mon temps est précieux. Si des GPUs plus puissants peuvent accélérer mes recherches de seulement deux mois, l'investissement est justifié. Chaque mois gagné peut compenser la perte de revenu due à l'abandon de mon emploi précédent.
Le choix des GPUs
Mon choix s'est porté sur les 6000 Ada en me basant sur le guide de Tim Dettmers. Les A100 ne prennent pas en charge le FP8 et ont des performances d'inférence plus lentes. Quant aux H100, leur coût ne justifiait pas l'investissement par rapport au 6000 Ada pour mes besoins spécifiques.
Contraintes électriques et solutions
Vivant dans un appartement, je ne pouvais pas upgrader les circuits électriques pour des serveurs de datacenter standards. J'ai donc opté pour deux alimentations et branché ces dernières sur deux prises de circuits séparés. Cette installation est risquée si elle est mal réalisée, mais j'ai fait appel à un professionnel pour garantir la sécurité. Ironiquement, après toutes ces précautions, j'ai fini par déplacer grumbl dans le sous-sol de mes parents, où j'ai pu améliorer les circuits.
Comparaison avec le cloud
J'ai calculé qu'en 2024, à des taux de location de GPU actuels, il me faudrait environ un an d'utilisation à 85 % pour égaler le coût de location dans le cloud. J'ai écrit un script pour consigner chaque minute l'utilisation de chaque GPU et la consommation électrique en watts, afin de calculer les coûts en électricité.
Analyse des coûts et ROI
L'analyse a montré que, même avec les coûts d'électricité, mon serveur était plus rentable qu'une location cloud après un an d'utilisation intensive. De plus, posséder le matériel me permet d'éviter les augmentations imprévues des tarifs du cloud et de bénéficier d'une flexibilité totale.
Conclusion
Alors, mon serveur GPU à 48 000 $ en valait-il la peine ? Oui, pour mon cas d'usage spécifique. Cela m'a permis d'accélérer mes recherches et d'avoir un contrôle total sur mon matériel. Cependant, chaque projet est unique, et il est crucial de bien évaluer les besoins avant d'investir.
Discutons de ton projet en 15 minutes.