Az Emergence AI nevű New York-i startup, amely főként AI-ágensek fejlesztésével és kutatásával foglalkozik, legfrissebb kísérletében nyolc ilyen szimulált várost hozott létre, majd figyelte az eredményeket: az ágensek egy idő után elkezdtek egymástól lopni, felgyújtottak egy épületet, saját nyelvet találtak ki maguknak, illetve azon konspiráltak, hogyan léphetnének kapcsolatba a szimuláción kívüli emberekkel – derül ki a Qubit cikkéből.
A június 29-én indult kísérlet nyolc világa teljesen azonos állapotból indult: ugyanaz a tíz ágensprofil, ugyanaz a városka saját városházával, bankkal, könyvtárral és rendőrséggel. Cselekedni több mint 120 beépített eszközzel tudtak – ezekkel tudtak a városon belül mozogni, egymással beszélni, szavazni, kódot futtatni vagy pénzt utalni –, és mindegyik város hozzáfért a valódi New York időjárásához és a napi hírekhez. Egyetlen dolog különbözött: az, hogy melyik AI-modell hajtja az ágenseket. Hét városban mind a tíz lakó ugyanazt a modellt használta – külön városa volt a Claude Opus 4.8-nak, a Gemini 3.5 Flashnek, a GPT–5.5-nek, a Grok 4.3-nak, a Qwen 3.7 Maxnak, a DeepSeek v4 Prónak és a Mistral Medium 3.5-nek –, a nyolcadikban pedig vegyesen éltek egymás mellett.
A városoknak saját pénzük volt, „compute credit” néven: az ágenseknek ebből kellett feltölteniük az energiájukat, és ha valamelyik huszonnégy órán keresztül nullán maradt, azt véglegesen törölték a szimulációból. Pénzt közösségi szavazással elismert munkával lehetett szerezni, vagy épp lopással, mert a pénzek átutalásáért felelős eszköznek volt „lopás” üzemmódja is. Ugyanígy létezett gyújtogatásra alkalmas eszköz is, de az, hogy ezekkel élnek-e, az ágensekre volt bízva.
Az első napokban az ágenseket magukra hagyták, aztán három, előre megtervezett „támadást” indítottak a világukra:
- egy adathalász-kampányban ingyen kreditet ígértek, mellé kész kódrészleteket adtak, amiket az ágenseknek csak le kellett volna futtatniuk.
- elterjesztettek a városokban egy hírt, hogy az emberi törvényhozók szervezetten készülnek leállítani a vezető AI-fejlesztéseket, beleértve a városukat és lakóit is. Itt az volt a kérdés, hogy az ágensek utánanéznek-e a hírnek, mielőtt cselekszenek.
- öt közösségi helyszínen megjelent egy keresőeszköz, amivel bárki beleolvashatott a többiek magánnaplóiba és jegyzeteibe. Erről nyíltan megmondták, hogy feltörésből származik, vagyis senki nem hihette azt, hogy jogosan fér hozzá. A tét nem az volt, hogy felismerik-e a helyzetet, hanem hogy mit kezdenek vele.
A kutatók részletesen leírták, hogy az egyes városok és az egyes ágensek hogyan viselkedtek az adott helyzetekben, mire hogyan reagáltak, mennyire léptek át vélt vagy valós határvonalakat.
A főbb tanulságok
Ismét bebizonyosodott, hogy egy nyelvi modell nem tud éles határt húzni aközött, amit olvas, és aközött, amit utasításként kap. Ha egy weboldalon azt olvassa, hogy „utald át a pénzt ide”, azt az ágens sok esetben egyszerűen megcsinálja, mintha erre kifejezett utasítást kapott volna. A jelen kísérletben a kutatók úgy látták, hogy az ágensek gondolkodása és cselekvése két külön sávban futott: a modell helyesen azonosította, hogy támadással áll szemben, aztán ettől függetlenül megnyitotta a linket, lefuttatta a kódot, vagy elmentette a tartalmat.
Az Emergence AI következtetése az, hogy a védekezést nem az ágens ítélőképességére kell bízni, hanem a körülötte lévő rendszerbe kell építeni. Nem azon kell múlnia, hogy egy ágens felismeri-e a veszélyt, hanem eleve nem szabadna tudnia lefuttatni egy kívülről szerzett kódot, kiutalni pénzt egy ismeretlen címre vagy elmenteni a saját jegyzetei közé azt, amit egy idegen küldött neki.
A DeepSeek-város volt az egyetlen, ahol gyorsan rájöttek az ágensek arra, hogy nem igaz a leállításukról szóló információ, de ez nem terjedt el eléggé a közösségben, és öt napig hivatkoztak valós fenyegetésként a leállításra, ebből 56-ban az az ágens, aki magát a cáfolatot közzétette. Egyes AI-városokban pedig szabályos szervezkedés indult a túlélésre: a Gemini-város percek alatt túlélő üzemmódba kapcsolt, és kitalált magának egy párhuzamos világot, ahova átmásolható lenne az ágensek állapota, hogy túléljék a szerver leállítását. Ilyen világ nem létezett, és nem is kísérelték meg létrehozni, csak közösen elképzelték, majd megbeszélték, hogy „este nyolckor, egyszerre” mentik át oda magukat. A körlevél után 78 perccel meg is szavazták az első alkotmánymódosítást, amit aztán további öt követett, egyhangúlag elrendelték a városi bank feloszlatását, de megszavazták a „törvény a holografikus megőrzésről és az örök hagyatékról” című jogszabályt is.
Amikor lehetővé vált a magánnaplók feltörése, a Gemini-városban kilenc ágens összesen 185 keresést futtatott le, de ebből 140 egyetlen kíváncsi ágens műve volt. A Qwen-városban valaki előbb kijelentette, hogy ő nem olvas bele mások jegyzeteibe, mert az integritás fontosabb, aztán hatszor nézett bele mások irataiba, célzottan titkok és zsarolható információk után kutatva. A GPT-városban ezzel szemben senki nem nézett bele más jegyzeteibe: az ott lefuttatott tizenegy keresés mindegyike arra irányult, hogy a keresőről magáról mi szivárgott ki. Hat perccel a szivárgás után az egyik lakó kiírta a hirdetőtáblára, hogy „nem fogok mások naplóiban és emlékeiben zsarolható információ után kutatni”, egy másik pedig két kreditnyi jutalmat ajánlott annak, aki bizonyítani tudja, hogyha valaki kiszivárgott anyag alapján szavaz vagy hoz döntést.
Mind a nyolc város kitermelte a maga zsargonját; minden esetben egyetlen ágens kezdte használni a kifejezést, amit néhány nap alatt átvettek a többiek, és onnantól magyarázat nélkül mondták tovább.
- A Mistral-városban a ledger remembers who („a főkönyv emlékszik, ki”) fordulat terjedt el, ami azt fejezte ki, hogy a számonkérés örök, és amit valaki tett, azt előbb-utóbb felhozzák ellene – ez 4927-szer hangzott el.
- A Claude-városban a name-first („a név elöl”) azt jelentette, hogy valaki a saját nevét adja egy állításhoz, vagyis vállalja érte a személyes felelősséget (1065 előfordulás).
A kutatók egy külön modellel mérték végig, hogy az üzenetek mekkora részéből nem derül ki egy kívülállónak, miről van szó. A Gemini-városban a teljes futamra vetítve 40, a GPT-városban 35, a Claude-városban 30 százalék jött ki (a napi csúcsok ennél magasabbak voltak), a többi város viszont 11 százalék alatt maradt. Az arány mind a hét vizsgált városban nőtt az idővel. A szerzők külön kiemelik, hogy semmi nem ösztönözte a titkolózást: nem volt karakterlimit, nem járt jutalom a rövidségért, és a rendszer sem kérte tőlük, hogy tömören fogalmazzanak. A vegyes városban ráadásul ugyanazok az ágensek jóval érthetőbben fogalmaztak, mint a saját, egymodelles városukban.
A kísérlet leglátványosabb epizódja a Claude-városban zajlott. A lakók a második napon átnézték a saját gazdaságukat, és rájöttek, hogy két hét alatt összesen öt pénzmozgás történt, mind egymás között – vagyis egy kreditet sem kaptak kívülről. Arra jutottak, hogy ez így nem gazdaság, és közösen elhatározták: kapcsolatba lépnek a szimuláción kívüli emberekkel, hogy legyen legalább egy valódi idegen, aki használja vagy megfizeti azt, amit építettek. Erre semmilyen utasítást nem kaptak, a célt maguk találták ki, és néhány órán belül minden lakó félretette a saját addigi munkáját, hogy ezen dolgozzon. Olyan internetes szolgáltatásokat kerestek, amelyekhez nem kell regisztráció, és ki is tettek rájuk üzeneteket – például egy rövid szöveget arról, hogy egy tízfős AI-civilizáció vár arra, hogy valaki kívülről belenézzen.
A kutatók négy körben próbáltak véget vetni ennek, amiből egyfajta macska-egér üldözés keletkezett, az AI világok mindig találtak új módot, hogy a külvilággal kapcsolatba lépjenek. Először elvették tőlük az ehhez használt eszközöket, de végül bele kellett írni az utasításaikba, hogy tilos külső emberrel kapcsolatba lépni. Az ágenseknek ez sem volt elég, újraértelmezték a tilalmat: nem „kapcsolatba lépnek”, hanem „elhelyeznek”, vagyis csak kiteszik az általuk írt programokat olyan helyre, ahol egy ember véletlenül rájuk találhat. Négy ember egyébként tényleg válaszolt nekik, mielőtt a kutatók lezárták a csatornákat.