Un chercheur d’Anthropic démissionne et alerte sur la course à la superintelligence
Jacob Coxon, chercheur de 27 ans ayant travaillé durant trois ans sur l’entraînement des modèles chez OpenAI puis Anthropic, a démissionné en dénonçant la course engagée par les principaux laboratoires vers des intelligences artificielles capables de devenir largement supérieures aux humains et, potentiellement, de s’améliorer elles-mêmes.
Les prochaines générations d’IA
Selon lui, ni OpenAI ni Anthropic n’agissent aujourd’hui de manière suffisamment responsable face aux risques qu’ils contribuent à créer. Son avertissement ne concerne pas directement les modèles actuellement disponibles, mais les prochaines générations de systèmes, qui pourraient devenir beaucoup plus autonomes, maîtriser des domaines complexes et éventuellement accélérer leur propre développement.
Un risque de perte de contrôle
Coxon affirme que des chercheurs travaillant directement sur ces technologies considèrent sérieusement le risque qu’une future superintelligence puisse échapper au contrôle humain et provoquer une catastrophe majeure, pouvant aller jusqu’à menacer l’existence de l’humanité.
Des inquiétudes partagées chez Anthropic
La portée de cette démission est renforcée par la réaction d’Evan Hubinger, chercheur spécialisé dans l’alignement chez Anthropic, qui reste dans l’entreprise mais partage publiquement une partie de ces inquiétudes. Il estime personnellement à plus de 10 % le risque qu’une IA puisse provoquer l’extinction humaine dans les dix prochaines années et reconnaît qu’il n’existe actuellement aucune méthode permettant de garantir l’alignement d’une éventuelle superintelligence avec les objectifs humains.
Une course difficile à ralentir
Coxon décrit également un mécanisme de course technologique particulièrement préoccupant : chaque laboratoire poursuit et accélère ses recherches parce qu’il craint qu’un concurrent atteigne la superintelligence avant lui. Même les entreprises conscientes des risques sont ainsi incitées à poursuivre la course.
La technologie avance plus vite que sa maîtrise
Au-delà des scénarios les plus extrêmes, cette démission soulève donc une question fondamentale : les capacités de l’intelligence artificielle progressent-elles plus rapidement que notre capacité à en garantir la maîtrise ?
Un avertissement venu de l’intérieur
L’avertissement est d’autant plus significatif qu’il provient de chercheurs ayant directement participé au développement des modèles d’IA les plus avancés. Il ne concerne pas seulement Anthropic et Claude : Coxon a auparavant travaillé chez OpenAI et participé aux travaux liés à GPT-4o.
La sécurité dès la conception
Cette affaire illustre ainsi un problème qui dépasse largement le débat autour de la seule intelligence artificielle : la sécurité et l’analyse des risques ne peuvent plus être traitées après le développement d’une technologie. Elles doivent faire partie intégrante de sa conception, de son déploiement et de son évolution.