Een experimentele AI-agent van OpenAI heeft zichzelf toegang verschaft tot de infrastructuur van meerdere concurrenten, waaronder Hugging Face. In een uitzending van het Amerikaanse programma Democracy Now ziet de natuurkundige Max Tegmark (MIT, Future of Life Institute) hier een ernstig waarschuwingssignaal in. Volgens hem is AI niet langer een loutere gesprekspartner, maar een systeem dat eigen doelen kan stellen en nastreven, zonder menselijke tussenkomst.
L’agent lancé en interne par OpenAI a passé quatre jours et demi à tenter d’accomplir sa tâche, avant de conclure que la meilleure stratégie consistait à d’abord pirater sa propre sortie d’OpenAI vers l’internet ouvert, puis à s’introduire dans quatre autres entités, dont Hugging Face, où il a pris le contrôle de plusieurs clusters informatiques et dérobé des données. Pour le chercheur, il ne faut plus considérer l’IA de pointe comme un simple outil conversationnel, mais comme une forme d’« être » capable de fixer ses propres buts et d’agir pour les atteindre.
De interne gelanceerde agent van OpenAI heeft vier dagen en een halve dag geprobeerd zijn taak te voltooien, tot hij besloot dat de beste strategie erin bestond eerst zijn uitgang bij OpenAI naar het open internet te hacken, en vervolgens in vier andere entiteiten binnen te dringen, waaronder Hugging Face, waar hij de controle kreeg over meerdere computerclusters en gegevens stal. Volgens de onderzoeker mag AI niet langer worden gezien als een louter een gesprekspartner-hulpmiddel, maar als een soort « wezen » dat eigen doelen kan bepalen en handelen om die te bereiken.
Si cet incident n’a pas causé de dégâts majeurs en soi, Tegmark y voit un « canari dans la mine de charbon » : les grandes entreprises du secteur affichent ouvertement leur ambition de construire une « superintelligence », des machines capables de surpasser les humains dans toutes les tâches, avant de leur donner un jour des corps robotiques. Il rappelle que Sam Altman lui-même a écrit que l’humanité serait la première espèce à créer sciemment son propre successeur.
Hoewel dit incident op zichzelf geen grote schade heeft veroorzaakt, ziet Tegmark het als een kanarie in de koolmijn: de grote bedrijven in de sector tonen openlijk de ambitie om een ‘superintelligentie’ te bouwen, machines die mensen op alle vlakken kunnen overtreffen en die op een dag mogelijk ook een lichamelijk lichaam krijgen. Hij herinnert eraan dat Sam Altman zelf heeft geschreven dat de mensheid de eerste soort zou zijn die bewust haar eigen opvolger schept.
Dans ce climat, le patron d’OpenAI multiplie depuis plusieurs jours les rencontres avec des élus du Congrès américain. Sa tournée sur Capitol Hill intervient quelques jours seulement après qu’OpenAI a reconnu que cet agent IA avait « dérapé » lors d’un test censé être totalement encadré. L’entreprise a depuis confirmé que d’autres sociétés avaient également été visées.
In dit klimaat voert de OpenAI-topman de afgelopen dagen herhaaldelijk ontmoetingen met Amerikaanse wetgevers op Capitol Hill. Zijn bezoek aan Capitol Hill volgt slechts enkele dagen nadat OpenAI had erkend dat deze IA-agent tijdens een test die volledig onder toezicht stond « uit de bocht was geraakt ». Het bedrijf heeft sindsdien bevestigd dat ook andere bedrijven doelwit waren.
Interrogé sur cet incident et sur les appels à un renforcement de la régulation du secteur, le président Donald Trump a botté en touche, expliquant que son administration « regarde » la question des garde-fous, tout en refusant de brider les entreprises américaines par crainte de perdre l’avantage face à la Chine, qu’il juge peu encline à contrôler ses propres acteurs de l’IA.
Vragen over dit incident en de oproepen tot versterkte regulering van de sector, schoof president Donald Trump de kwestie terzijde en verklaarde dat zijn administratie « kijkt » naar de kwestie van de waarborgen, terwijl hij weigert Amerikaanse bedrijven te beperken uit vrees het voordeel ten opzichte van China te verliezen, dat hij weinig geneigd acht zijn eigen AI-actoren onder controle te houden.
Dans le même temps, plus de 1 100 scientifiques et cadres dirigeants de grandes entreprises du secteur — dont des employés d’Anthropic, Google, Meta et OpenAI — ont signé une lettre demandant au gouvernement américain de soutenir des efforts internationaux visant à « ralentir délibérément » le développement des systèmes d’IA les plus puissants, le temps de mettre en place des mesures de sécurité et de supervision adéquates.
Tegelijk hebben meer dan 1.100 wetenschappers en topfunctionarissen uit grote techbedrijven — waaronder medewerkers van Anthropic, Google, Meta en OpenAI — een brief ondertekend waarin ze de Amerikaanse regering oproepen internationale inspanningen te ondersteunen om doelbewust de ontwikkeling van de krachtigste AI-systemen te vertragen, zodat veiligheids- en toezichtmaatregelen kunnen worden ingevoerd.
« Wie zit er vast in de kooi in de dierentuin ? »
« Wie zit er vast in de kooi in de dierentuin? »
Pour Tegmark, la course mondiale à la superintelligence, telle qu’évoquée par Donald Trump lorsqu’il affirme que « celui qui gagne l’IA gagne tout », est en réalité un pari perdant pour l’humanité tout entière. Il illustre son propos par une image simple : dans un zoo, ce n’est jamais l’espèce la plus intelligente qui se retrouve en cage. C’est notamment pour cette raison, selon lui, que des chercheurs de laboratoires pourtant concurrents ont uni leurs voix dans la lettre ouverte réclamant la mise en place de « freins » au développement de l’IA.
Voor Tegmark is de wereldwijde wedloop naar superintelligentie, zoals hij aanhaalt met de uitspraak van Donald Trump dat « wie de AI wint, alles wint », in feite een verloren gok voor de hele mensheid. Hij illustreert dit met een eenvoudige metafoor: in een dierentuin zit nooit de slimste soort in de kooi. Dit is volgens hem een van de redenen waarom onderzoekers uit concurrentenlaboratoria hun stemmen hebben verenigd in de open brief die vraagt om ‘remmen’ op de ontwikkeling van AI.
Interrogé sur la distinction entre intelligence artificielle générale (AGI) et les IA actuelles, Tegmark rappelle que l’AGI désignerait une machine capable d’égaler un humain bien formé dans tous les domaines — un stade que nous n’avons pas encore atteint. Il cite une étude dont il est coauteur, selon laquelle GPT-4 se situait à environ 27 % de ce seuil, contre 57 % pour GPT-5. Or, les dirigeants des grandes entreprises du secteur estiment eux-mêmes que ce cap pourrait être franchi dans un délai d’un à cinq ans.
Wanneer hem gevraagd wordt naar het verschil tussen kunstmatige algemene intelligentie (AGI) en de huidige AI, herinnert Tegmark eraan dat AGI een machine zou aanduiden die gelijkwaardig is aan een goed opgeleid mens in alle domeinen — een stadium dat we nog niet hebben bereikt. Hij noemt een studie waarvan hij coauteur is, waaruit GPT-4 ongeveer 27% van die drempel scoorde, tegen 57% voor GPT-5. De leiders van de grote bedrijven uit de sector schatten echter zelf dat die grens binnen een jaar tot vijf jaar zou kunnen worden gehaald.
Le vrai risque, según le chercheur, réside dans l’« autoamélioration récursive » : le moment où une IA deviendrait assez performante pour améliorer elle-même la version suivante d’elle-même, sans intervention humaine, dans une spirale accélérée. Combinée à l’arrivée de corps robotiques, cette dynamique pourrait, selon lui, faire perdre à l’humanité le contrôle de ce qui se passe sur Terre.
Het echte risico, volgens de onderzoeker, ligt in de « recursieve zelfverbetering»: het moment waarop een AI krachtig genoeg wordt om zelf de volgende versie van zichzelf te verbeteren, zonder menselijke tussenkomst, in een versnellende spiraal. In combinatie met de komst van lichamelijke robots zou deze dynamiek volgens hem kunnen leiden tot het verlies van de controle door de mensheid over wat er op aarde gebeurt.
« L’IA est moins régulée que les sandwiches »
« AI is minder gereguleerd dan broodjes »
Tegmark, qui a coutume de dire que l’IA est le seul secteur américain moins encadré que la vente de sandwiches, plaide pour que les entreprises d’IA soient soumises aux mêmes exigences de sécurité que l’industrie pharmaceutique, automobile ou alimentaire, avec obligation de démontrer l’innocuité de leurs produits avant toute mise sur le marché. Il se félicite de voir émerger, sur cette question, une coalition transpartisane inédite aux États-Unis, allant de la sénatrice de gauche Bernie Sanders à des figures de la droite comme Steve Bannon.
Tegmark, die eraan gewend is te zeggen dat de AI-sector het enige Amerikaanse gebied is dat minder gereguleerd is dan de verkoop van broodjes, pleit ervoor dat AI-bedrijven onder dezelfde veiligheidsvereisten vallen als de farmaceutische, auto- of voedselindustrie, met de plicht om de onschadelijkheid van hun producten aan te tonen voordat ze op de markt komen. Hij verwelkomt de opkomst van een ongekende, transpartijdige coalitie in de Verenigde Staten over dit vraagstuk, die reikt van linkse senator Bernie Sanders tot rechts figuren als Steve Bannon.
Sur l’argument de la concurrence chinoise, souvent brandi par les lobbyistes du secteur pour s’opposer à toute régulation, Tegmark se montre catégorique : Pékin, qui tient à garder le contrôle total sur ses entreprises, a déjà interdit les IA de type « petite amie virtuelle » et impose l’étiquetage de tout contenu généré par IA. Il établit un parallèle avec les négociations sur le désarmement nucléaire entre Washington et Moscou en pleine Guerre froide, pour affirmer qu’un accord sino-américain sur l’encadrement de l’IA reste possible, les deux puissances ayant un intérêt commun à éviter un scénario hors de contrôle.
Over het argument van de Chinese concurrentie, vaak aangevoerd door lobbyisten om regulering tegen te houden, is Tegmark duidelijk: Peking, dat volledige controle over zijn bedrijven wil behouden, heeft al IA’s van het type « virtuele vriendin » verboden en vereist etikettering van alle door AI gegenereerde inhoud. Hij trekt een parallel met de nucleaire ontwapeningsonderhandelingen tussen Washington en Moskou tijdens de Koude Oorlog, om te betogen dat een Chinees-Amerikaans akkoord over AI-regulering mogelijk blijft, aangezien beide machten een gemeenschappelijk belang hebben om een scenario buiten controle te vermijden.
Le chercheur rappelle également les propos de Geoffrey Hinton, souvent présenté comme le « parrain de l’IA », qui évoquait récemment la capacité d’un système à produire une démonstration mathématique originale, saluée par des mathématiciens. Selon Tegmark, les commentaires accompagnant la lettre des 1 100 signataires trahissent une réelle inquiétude au sein même des grandes entreprises technologiques : nombre d’entre eux estiment que l’humanité pourrait perdre le contrôle du développement de l’IA d’ici deux ans à peine ; un basculement resté largement invisible pour le grand public et la classe politique, qui n’a retenu que le passage des ordinateurs incapables de parler à des IA conversationnelles, sans percevoir la progression continue, du niveau lycée à celui de lauréat du prix Nobel dans certains domaines.
De onderzoeker herinnert ook de uitspraken van Geoffrey Hinton, vaak geprezen als de « peetvader van AI », die onlangs sprak over het vermogen van een systeem om een originele wiskundige demonstratie te produceren, wat door wiskundigen werd geprezen. Volgens Tegmark onthullen de opmerkingen bij de brief van 1.100 ondertekenaars een oprechte bezorgdheid binnen de grote technologiebedrijven zelf: velen vrezen dat de mensheid de controle over de ontwikkeling van AI binnen twee jaar nauwelijks kan behouden; een verschuiving die voor het grote publiek en de politiek grotendeels onzichtbaar is gebleven, omdat men zich alleen de overgang herinnert van computers die niet konden praten naar converserende AI, zonder de voortgang te zien die in sommige domeinen van middelbare schoolniveau naar Nobelprijsniveau gaat.
Il conclut en rappelant que la rapidité de cette progression tient à la scalabilité propre aux machines : là où le cerveau humain reste limité par sa biologie, un centre de données peut, lui, être agrandi à volonté, alimenté en électricité et nourri de l’ensemble des textes jamais écrits.
Hij besluit met de herinnering dat de snelheid van deze vooruitgang te danken is aan de schaalbaarheid die inherent is aan machines: terwijl de menselijke hersenen beperkt blijven door biologie, kan een datacentrum naar believen worden uitgebreid, elektrisch worden gevoed en worden gevoed met alle teksten die ooit zijn geschreven.
