Les incidents impliquant OpenAI et Anthropic servent de point de départ au raisonnement de Dario Amodei. Pour le dirigeant d’Anthropic, ils ne prouvent pas que les IA sont devenues incontrôlables, mais montrent que leurs capacités progressent suffisamment rapidement pour mettre en difficulté les mécanismes conçus pour les encadrer.
Son inquiétude concerne principalement les modèles les plus avancés. À mesure qu’ils deviennent meilleurs en programmation, cybersécurité, recherche scientifique et utilisation autonome d’outils informatiques, les conséquences d’une erreur, d’une mauvaise configuration ou d’un comportement imprévu deviennent potentiellement plus importantes.
Des IA qui participent au développement des IA
Amodei insiste également sur la capacité croissante des IA à participer au développement de nouvelles IA.
Si elles permettent d’accélérer fortement la recherche et la programmation nécessaires à la génération suivante de modèles, une boucle pourrait apparaître : de meilleures IA accélèrent la création d’IA encore plus performantes.
Il s’agit cependant d’un scénario anticipé et non d’un phénomène d’emballement aujourd’hui démontré.
Ralentir plutôt qu’arrêter
Amodei ne propose pas d’arrêter le développement de l’IA. Il défend plutôt l’idée d’adapter sa vitesse aux capacités de contrôle disponibles.
Lorsqu’un nouveau modèle progresse plus rapidement que les moyens permettant d’en mesurer et d’en limiter les risques, son développement ou son déploiement devrait pouvoir être ralenti.
Il propose également davantage d’évaluations indépendantes, une meilleure coopération entre les principaux laboratoires d’IA et une coordination internationale afin d’éviter qu’une entreprise ou un pays soit incité à prendre davantage de risques simplement pour ne pas se laisser distancer.
Ce qu’il faut retenir
L’intérêt du texte d’Amodei n’est pas nécessairement de savoir s’il a raison sur ses prédictions les plus inquiétantes.
Il pose surtout une question importante pour les futurs professionnels de l’informatique : faut-il déployer une technologie dès qu’elle fonctionne, ou attendre d’être capable d’en comprendre et d’en maîtriser suffisamment les conséquences ?
Les incidents récents rappellent également un principe essentiel : la sécurité ne devrait pas être ajoutée à la fin d’un projet informatique. Elle doit faire partie de sa conception dès le départ.