Introduction
HackerRank a récemment suscité l'intérêt en rendant son système de suivi des candidatures (ATS) open source. Cependant, ce qui devait être un outil déterministe pour évaluer les CV s'est révélé être un dispositif capricieux. Imagine : tu soumets ton CV et tu obtiens un score de 90/100, pour voir le même document noté à 74/100 quelques minutes plus tard. Bienvenue dans l'univers de l'évaluation des CV par les modèles de langage.
Comment fonctionne l'ATS de HackerRank ?
L'ATS de HackerRank analyse ton CV en PDF, le convertit en texte, puis utilise un modèle de langage pour extraire des informations structurées telles que ton parcours académique, ton expérience professionnelle, tes compétences techniques, et même ton activité sur GitHub. Un score sur 100 est généré, avec jusqu'à 20 points supplémentaires possibles pour des contributions open source, des projets personnels, et d'autres critères.
Les critères de notation
- Contributions open source : 35 points
- Projets personnels : 30 points
- Expérience professionnelle : 25 points
- Compétences techniques : 10 points
- Bonus : Jusqu'à 20 points pour l'expérience en startup, un portfolio, etc.
L'impact de la non-déterminisme
La variabilité des scores est principalement due à la manière dont les LLM (modèles de langage de grande taille) évaluent des critères subjectifs comme les projets ou les contributions personnelles. Par exemple, les compétences techniques, souvent basées sur des listes de contrôle, obtiennent des scores plus constants, tandis que les projets peuvent varier considérablement d'un essai à l'autre.
Le modèle gemma3:4b, utilisé par défaut, opère à une température de 0.1, censée fournir des résultats plus déterministes. Cependant, même avec une température aussi basse, les scores varient, soulignant un défaut fondamental dans la conception de l'outil.
Que cela signifie pour le recrutement ?
Pour les entreprises tech, cette variabilité représente un défi. Si le seuil d'acceptation est fixé à 85, un candidat peut échouer 65 % du temps simplement à cause de la chance, et non de ses qualifications réelles. Ce problème de non-déterminisme pourrait transformer le processus de recrutement en un filtre de hasard, où le même CV pourrait être accepté ou rejeté sur la base d'une simple loterie algorithmique.
Vers une meilleure approche ?
Bien que l'open source permette des améliorations communautaires, la nature même des LLMs rend difficile l'obtention de résultats totalement déterministes. Des approches hybrides, combinant l'évaluation automatique avec un examen humain, pourraient être la solution pour minimiser l'impact de cette variabilité.
En conclusion, l'ATS open source de HackerRank met en lumière les défis et les opportunités des outils d'évaluation automatisés. Pour les décideurs et entrepreneurs tech, la clé réside dans l'équilibre entre l'automatisation et l'intervention humaine pour garantir une évaluation juste et précise.
Discutons de ton projet en 15 minutes.