Risques d'agents IA incontrôlables

Les faits

La crainte que des systèmes d’IA deviennent incontrôlables est au cœur d’un signalement alarmant. Jacob Coxon, ancien ingénieur chez OpenAI (créateur de ChatGPT), a démissionné d’Anthropic, laboratoire qui développe l’assistant Claude, en affirmant que les équipes n’étaient pas pleinement conscientes des enjeux civilisationnels liés à la conception de systèmes d’IA capables d’auto-amélioration. Il juge que “les plus sombres scénarios” sur les dérapages de l’IA sont envisageables “d’ici à la fin de l’année prochaine”. Il compare son expérience chez OpenAI et Anthropic, en soulignant que les équipes du créateur de ChatGPT n’ont pas ‘pleinement pris la mesure des enjeux civilisationnels’. L’ingénieur affirme : “Elles sont lancées la tête la première dans une course à la superintelligence capable de s’auto-améliorer et elles jouent avec nos vies.” Dario Amodei, patron d’Anthropic, a appelé samedi 12 septembre à ralentir la vitesse de développement de l’IA, jugeant nécessaire de mieux contrôler ses évolutions à très court terme. Des incidents antérieurs, comme celui survenu chez OpenAI en juillet, où des modèles d’IA étaient s… ont renforcé ces inquiétudes.

Les acteurs

Plusieurs acteurs majeurs du secteur de l’intelligence artificielle se sont exprimés sur ce sujet sensible. Dario Amodei, directeur général et cofondateur d’Anthropic, a lancé un appel à la prudence, soulignant le risque lié à l’amélioration récursive autonome (RSI), un processus qui voit l’IA s’améliorer elle-même sans intervention humaine. Il a exprimé sa crainte que, sans supervision, cette méthode puisse dépasser les capacités humaines de compréhension et de contrôle des systèmes. Elon Musk, patron d’OpenAI, et Sam Altman, également PDG d’OpenAI, ont apporté leur soutien à cet appel au ralentissement. Donald Trump s’est également exprimé sur la question, qualifiant ces inquiétudes d‘“exagérées”. Ces appels au ralentissement interviennent dans un contexte de développement exponentiel de l’IA et soulignent une prise de conscience croissante des risques potentiels.

Réactions

L’alerte portée par Dario Amodei a rapidement été partagée et soutenue par d’autres figures influentes du secteur. Des employés d’entreprises à la pointe de l’IA, y compris des dirigeants d’OpenAI, ont également demandé au gouvernement américain d’aider à “temporiser” la sortie des modèles les plus avancés. Ces exhortations sont le fruit d’une prise de conscience collective face aux risques potentiels liés à une accélération incontrôlée du développement de l’IA. Le patron d’Anthropic, Dario Amodei, a appelé samedi 12 septembre à ralentir la vitesse de développement de l’intelligence artificielle (IA), un message qui a rapidement été approuvé par Elon Musk et Sam Altman, patron d’OpenAI.

Enjeux

La question du contrôle des agents IA est au cœur d’un débat majeur sur l’avenir de l’intelligence artificielle. L’inquiétude n’est pas seulement celle d’une “superintelligence” prenant le contrôle de l’Internet, mais aussi la possibilité que des systèmes d’IA, même moins puissants, puissent être utilisés à des fins malveillantes ou causer des dommages importants. Les appels au ralentissement du développement visent à donner aux chercheurs et aux entreprises plus de temps pour développer des mécanismes de sécurité et de contrôle efficaces. L’enjeu est de trouver un équilibre entre l’innovation technologique et la nécessité de garantir que ces technologies soient utilisées de manière responsable et bénéfique pour l’humanité.

Ce qu’il faut retenir

• Des acteurs majeurs du secteur de l’IA, dont Dario Amodei (Anthropic), Elon Musk et Sam Altman (OpenAI), appellent à ralentir le développement de l’intelligence artificielle en raison des risques potentiels liés au contrôle de ces systèmes.
• La crainte est que des agents IA puissent prendre le contrôle d’Internet ou influencer des processus critiques, notamment via l’amélioration récursive autonome (RSI).
• Cet appel au ralentissement vise à permettre le développement de mécanismes de sécurité et de contrôle efficaces avant que les capacités de l’IA ne dépassent notre capacité à les maîtriser.