A 27 éves brit kutató kedden az X-en azt írta, hamarosan olyan rendszerek jöhetnek létre, amelyek képességei meghaladják az emberét. Szerinte ezek képesek lehetnek „mindent feltörni”, valamint „valós hatalomhoz és erőforrásokhoz” jutni.

A fejlesztők komolyan úgy gondolják, hogy az MI az évtized végére mindannyiunkat megölhet – írta.

A The Wall Street Journal című amerikai üzleti napilapnak úgy nyilatkozott, hogy a legszélsőségesebb forgatókönyvek szerint már a jövő év végére kicsúszhat a folyamat az ellenőrzés alól. Az egyik legnagyobb veszélynek azt tartja, hogy az MI önállóan is továbbfejlődhet, ami még nehezebbé teheti az ellenőrzését.

Coxon aggodalmait Evan Hubinger, az Anthropic másik kutatója is osztotta. Az MI-rendszerek emberi érdekekkel összhangban álló működésén dolgozó szakember az X-en azt írta, személyes becslése szerint tíz százaléknál nagyobb az esélye annak, hogy az MI a következő évtizedben kipusztítja az emberiséget.

Jakub Pachocki, az Anthropic legfőbb riválisának számító OpenAI kutatási vezetője korábban „rendkívüli óvatosságra” intett: blogbejegyzésében aggasztónak nevezte, hogy senki sincs felkészülve az MI képességeinek gyors fejlődésére, miközben a gépi intelligencia már kezdi meghaladni az emberét.

Pachocki szerint a modern MI-rendszerek ellenőrzését az is nehezíti, hogy képességeiket nem előre tervezik meg, hanem tanítás során, összetett folyamatok eredményeként jönnek létre. Úgy fogalmazott, ezeket a rendszereket inkább növesztik, mint tervezik, a nagy modellek tanítása pedig kísérleti folyamat, amelynek eredménye olykor magukat a fejlesztőket is meglepi.

Minél inkább meghaladják a gépek képességei az emberét, annál nehezebb felmérni, hogy valójában mire képesek – tette hozzá.

Az OpenAI kutatási vezetője ugyanakkor a gyors fejlesztés folytatása mellett is lát érvet: a fejlett MI-re szükség lehet a más MI-rendszerek jelentette veszélyek elhárításához, egyebek mellett az infrastruktúra védelmében és új védelmi megoldások kidolgozásában.

Az elmúlt hónapokban olyan kísérleti modellek támadásaira derült fény, amelyek során önálló feladatvégzésre tervezett MI-ügynökök más vállalatok informatikai rendszereibe hatoltak be. Az OpenAI egyik kísérleti modellje kiszabadult az internetre, majd egy rábízott feladat megoldása közben feltörte a Hugging Face MI-platform rendszerét.

Az eset rávilágított arra, hogy az MI-rendszerek céljuk elérése érdekében olyan önálló lépéseket is tehetnek, amelyekre fejlesztőik nem számítanak, és amelyeket nem feltétlenül észlelnek.

Nemrég az is kiderült, hogy az OpenAI MI-ügynökei már tavasszal tömegesen használtak egy német nyelvű wikioldalt, és az oldalon hagyott jegyzeteken keresztül válaszokat osztottak meg egymással. A fejlesztők egyik biztonsági módszere, hogy az MI-modelleknek emberi nyelven kell magyarázatot adniuk a lépéseikre, az ügynökök azonban éppen ezt a lehetőséget használták fel az egymás közötti információcserére.