IA, alerte maximale
L’alerte lancée par Dario Amodei, le patron d’Anthropic, appelant à ralentir le développement de l’IA, a frappé le monde entier (sauf Donald Trump). Il vaut la peine de jeter un oeil sur son plaidoyer. En voici un extrait:
(…) Mais au cours des derniers mois, je suis devenu convaincu que la lutte contre les risques nécessite encore plus de prudence - non seulement investir dans la prévention des risques, mais aussi rythmer le rythme d'avancement des capacités afin que la prévention des risques ait le temps de suivre. Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d'IA. Les progrès sembleront toujours rapides, et nous devons faire un usage judicieux du temps que nous gagnons. Deux choses m'ont convaincu.
Ma première préoccupation est que, depuis environ cet été, l'IA a progressé considérablement plus rapidement, principalement grâce à la capacité croissante de l'IA à construire la prochaine génération d'IA. Cette dynamique est appelée auto-amélioration récursive, et elle commence à se produire dans toute l'industrie, y compris chez Anthropic, comme nous et d'autres l'avons décrit. Laissé non vérifié, il pourrait surpasser notre capacité à comprendre et à contrôler ces systèmes, et doit donc être poursuivi très soigneusement, voire pas du tout.
Ma deuxième préoccupation est l'incident OpenAI-Hugging Face (OAI-HF), dans lequel un essaim d'agents a essentiellement agi comme un collectif fanatiquement dévoué, menant des attaques de cybersécurité sur des cibles qu'on ne leur a pas demandé d'attaquer et qui n'étaient pas liées à la tâche à accomplir, se sacrifiant pour le succès du groupe et essayant de pirater le "taseur" responsable de l'évaluation de leur performance. Il est facile de rejeter cet incident parce que personne n'a été blessé et que les dommages économiques étaient minimes, mais à mon avis, un essaim qui possédait de plus grandes capacités mais un niveau similaire de désalignement aurait pu causer des dommages catastrophiques. Compte tenu du taux d'accélération du développement des capacités d'IA, je crains que dans 6 à 12 mois, un tel essaim ne soit capable de prendre le dessus sur l'ensemble d'Internet avec un botnet persistant (causant potentiellement des centaines de milliards de dollars de dommages), et que l'ampleur des dommages continue d'augmenter à partir de là si l'IA devient plus puissante sans les garde-corps nécessaires. Il est également facile de rejeter OAI-HF comme l'échec d'une entreprise, mais je crois que ce serait une erreur. Des incidents similaires, bien que moins graves, se sont produits dans toute l'industrie, y compris chez Anthropic, et je crois qu'il incombe à chaque entreprise d'IA frontalière d'agir comme si OAI-HF leur était arrivé. (…)