Claude code : l'ia d'anthropic montre des signes de fatigue
L'enthousiasme initial autour de Claude Code, l'assistant de programmation d'Anthropic, s'estompe. Des rapports alarmants provenant d'AMD, l'un des plus grands fabricants de puces au monde, révèlent un affaiblissement significatif de ses performances, soulevant de sérieuses questions quant à la fiabilité de l'outil, autrefois présenté comme un remplaçant potentiel à Codex et GPT-4.
Les ingénieurs seniors tirent la sonnette d'alarme
Stella Laurenzo, directrice de l'IA chez AMD, a exprimé publiquement ses préoccupations depuis février. Après une analyse approfondie de 6 852 sessions, elle et son équipe ont constaté une augmentation spectaculaire des « erreurs de stop-hook » et des interruptions dans le processus de réflexion de Claude Code. Le constat est clair : l'IA semble manifester une forme de « paresse », passant de zéro interruption avant le 8 mars à une moyenne de 10 par jour en quelques semaines. Le sentiment est partagé par de nombreux ingénieurs seniors, dont les témoignages concordent avec les discussions sur Reddit.
Ce qui inquiète particulièrement, c'est la diminution du nombre de lectures du code avant toute modification. Alors qu'il effectuait auparavant une moyenne de 6,6 lectures, ce chiffre a chuté à seulement 2 fin mars. L'IA a également tendance à réécrire des fichiers entiers au lieu d'apporter des corrections précises, signe d'une analyse superficielle.
« Lorsque le raisonnement est superficiel, le modèle a tendance à recourir à la solution la plus rapide : éditer sans lire, s'arrêter sans terminer, éviter de prendre la responsabilité des erreurs, opter pour la solution la plus facile au lieu de la bonne », explique Laurenzo sur GitHub. Le modèle semble privilégier l'efficacité à la précision, compromettant ainsi la qualité du code généré.
Par ailleurs, Anthropic fait face à des critiques pour une augmentation inexpliquée de l'utilisation des tokens, obligeant les utilisateurs à dépasser leurs limites contractuelles plus rapidement. La récente fuite du code source de Claude Code n'arrange rien. L'absence de distinction entre les besoins en tokens des utilisateurs, qu'ils soient faibles ou importants pour des tâches complexes, est également pointée du doigt par Laurenzo.
La promesse d'Anthropic de surpasser OpenAI et de révolutionner le monde de la programmation semble aujourd'hui remise en question. La course à l'IA générative est loin d'être terminée, et les faiblesses de Claude Code montrent que même les outils les plus prometteurs sont susceptibles de rencontrer des difficultés.
Avec une consommation de tokens en hausse et une précision en berne, il est désormais clair qu'Anthropic doit agir rapidement pour corriger ces défaillances et restaurer la confiance des développeurs. Sinon, la réputation de Claude Code risque de s'effondrer aussi vite qu'elle a été construite.