Un chatbot qui encourage à enfreindre la loi
Sous l'administration Eric Adams, New York a lancé un chatbot IA censé aider les entreprises à naviguer les programmes gouvernementaux et les réglementations. Le résultat ? Un désastre documenté par The City et The Markup.
Le chatbot conseillait notamment aux entreprises de :
- Prendre une partie des pourboires des employés (illégal)
- Refuser les paiements en cash (illégal dans certains contextes)
- Il ne connaissait même pas le salaire minimum en vigueur
Le nouveau comptroller Brad Lander Mamdani a qualifié le système d'"inutilisable" et prévoit de le supprimer.
Le problème n'est pas l'IA, c'est le déploiement
Ce fiasco illustre parfaitement ce qui arrive quand on déploie une IA sans :
1. Validation des sources
L'IA ne "comprend" pas la loi. Elle génère des réponses basées sur son entraînement. Sans accès à des sources juridiques à jour et vérifiées, elle hallucine des conseils dangereux.
2. Tests sur des cas réels
Un simple test avec des questions basiques sur le droit du travail aurait révélé ces failles avant le lancement.
3. Boucles de feedback
Les utilisateurs signalaient des erreurs depuis des mois. Personne n'écoutait.
4. Supervision humaine
Pour des sujets à risque (juridique, médical, financier), l'IA ne devrait jamais répondre sans validation humaine sur les questions sensibles.
Ce que ça coûte vraiment
Au-delà de l'embarras public, les conséquences sont concrètes :
- Risque juridique : Une entreprise qui suit ces conseils s'expose à des poursuites
- Perte de confiance : Les citoyens perdent foi dans les services numériques de la ville
- Gaspillage : L'argent investi dans ce projet est perdu
La bonne façon de déployer l'IA en entreprise
Ce cas NYC est un anti-exemple parfait. Voici ce qu'il faut faire :
Définir le périmètre
L'IA ne doit pas tout faire. Identifiez les tâches où elle excelle (réponses factuelles simples, orientation) et celles où elle doit passer la main (conseils juridiques, décisions complexes).
Construire des garde-fous
- Filtrage des questions sensibles
- Redirection vers des humains pour les sujets à risque
- Sources de données vérifiées et à jour
Tester en conditions réelles
Pas juste des tests techniques — des vrais utilisateurs, des vraies questions, des vrais cas limites.
Monitorer en continu
L'IA évolue, les réglementations aussi. Un système de monitoring détecte les dérives avant qu'elles deviennent virales.
Pourquoi les PME ont besoin d'experts
Les grandes entreprises ont des équipes dédiées pour ces déploiements. Les PME n'ont pas ce luxe — mais elles ont les mêmes risques.
C'est là qu'interviennent les partenaires spécialisés en déploiement IA. Plutôt que de bricoler un chatbot avec ChatGPT et espérer que ça marche, travailler avec des experts garantit :
- Un déploiement conforme aux réglementations
- Des systèmes testés et validés
- Une maintenance et évolution continues
La morale de l'histoire
L'IA est un outil puissant. Mais comme tout outil puissant, mal utilisé, il fait des dégâts. Le chatbot NYC n'est pas un échec de la technologie — c'est un échec de l'implémentation.
La question n'est pas "faut-il utiliser l'IA ?" mais "comment l'utiliser correctement ?".