eur:
412.62
usd:
396.88
bux:
79332.48
2024. december 23. hétfő Viktória
Close-up of AI brain and network on dark background.
Nyitókép: Yuichiro Chino/Getty Images

Cápatámadás a Balatonban? – szakértők a mesterséges intelligencia különös világáról

A polgár akkor fogja a mesterséges intelligenciát befogadni, amikor nagyon jól körülhatárolt területeken életjobbító faktorként érzékeli – vélekedett a mesterséges intelligencia jövőbeni hasznosításáról Rab Árpád digitáliskultúra-szakértő, jövőkutató, a Nemzeti Közszolgálati Egyetem Információs Társadalom Kutatóintézetének tudományos főmunkatársa és Tilesch György nemzetközi mesterségesintelligencia-szakértő, a PHI Institute alapító elnöke, a Neumann Társaság MI-nagykövete az InfoRádió Aréna című műsorában, ahol szó esett az új technológia veszélyeiről, a korlátairól és a hasznairól is.

Mit gondolnak, jövő ilyenkor kell még egy ilyen beszélgetéshez élő műsorvezető meg élő vendég? Vagy csak egy generátor?

Rab Árpád: Persze, hogy kell, hát rajtunk múlik. Meg tudjuk oldani, hogy ne kelljen, de ezt most is meg tudnánk oldani, mert lehetne, hogy egy magnó felolvassa a kérdést és én válaszolok. Az a kérdés, hogy mi mit szeretnénk. Alapvetően nem az a cél, hogy elvegye az emberek munkáját, hanem megváltoztassa. Az ön munkájának az előkészítését vagy, mondjuk, az, hogy ezt az adást abban a pillanatban 36 nyelven élőben hallgathassák, lehetővé tudjuk tenni. Azt, hogy emberekkel akarunk-e beszélgetni vagy sem, ez a mi döntésünk.

Tilesch György: Ma reggel láttam egy a világon a top 5-ben lévő mesterségesintelligencia-szakértő, Andrew Ern professzor által készített videót, amelyben egy audio mesterségesintelligencia-klónozó programot mutatott be, és irgalmatlanul rossz AI-vicceket mesélt. A hallgatóra bízta azt, hogy eldöntse, az az ő valódi vagy a klónozott hangja, és már nehéz észrevenni a különbséget. A szükséges technológia itt van velünk és nekünk az a feladatunk, hogy azt az egyensúlyt megtaláljuk ember és gép között, amitől nem megyünk tönkre, sőt kihozzuk belőle a maximumot.

Amikor készültünk a beszélgetésre, megkérdeztük a chat GPT-t, hogy ő miről beszélgetne önökkel, és tartalmában a saját kérdéseinkkel jelentős átfedést mutatott. A stílusában volt eltérés, mert szikárabb volt, kevesebb szóval kérdezett. A stílus fogja megkülönböztetni az embert a mesterséges intelligenciától?

Rab Árpád: Persze, hogy ezeket a kérdéseket tette föl, mert az eddigi emberi tudásházat tükrözi vissza és ön is abból gazdálkodik, amit olvasott, tanult. Miért mondana teljesen mást? Másrészt statisztikailag nyilván egy témafelvetéshez ezeket adja ki kérdésnek. Ne feledjük el, hogy egyrészt ezek mind historikus dolgok, ha olyan valami érdekli, amit mi el sem tudunk képzelni vagy, mondjuk, a jövő, akkor máris gondban van. A harmadik, hogy ezek közül mi az, ami valóban érdekli, és persze, lehet a stílus is, de pont a perszonalizáció, akár szintetikus adatok segítségével, az jól megy. Tehát az, hogy egyet klikkeljek, és ez a műsor egy, nem tudom, színesbőrű reggae rádióhangulatban legyen, de azt sem probléma gépileg megcsinálni, hanem van egy brand, ez a műsor, ami régóta megvan és szeretik valamiért, annak van egy bizonyos beszédritmusa, szókészlete. Ezt is megtaníthatom neki, de ezt már, mondjuk, nagyobb munka és nem biztos, hogy anyagilag megéri „csak” egy rádióműsorért.

Tilesch György: A rövid válaszom az, ha tényleg csak a jelen pillanatot próbáljuk megragadni, akkor igen, én is még szabad szemmel és füllel meg tudom általában különböztetni, hogy valamilyen kreativitást igénylő szöveget a Chat GPT írt-e vagy sem, vagy bármelyik nagy nyelvi modell. Tegyük hozzá, a Chat GPT került be az agyunkba legelőször, hogy ez meddig lesz így, afelől erőteljes kétségeim vannak. Arról, hogy a kreativitás, vagy a gondolkodás emberrel egyenértékű szintjeit mikor fogja a mesterséges intelligencia elérni, hatalmas szakmai viták vannak. Sokan dolgoznak ezen a problémán a világ vezető matematikusai közül, de valóban, minden olyan technológia jelen pillanatban rendelkezésünkre áll már, ha úgy tetszik, különböző stílusokat tud felvenni a generatív mesterséges intelligencia, amire ha ráhúzunk egy audio plug-int, akkor valóban a világ összes nyelvén tudja az ön hangján közölni. Nekem öt másodpercre van szükségem, hogy az ön hangját felvegyem és abból egy olyan klónt készítsek, ami, ha kell, akkor pandzsábiul mondja el ugyanezt a műsort az ön hangján és az ön szókészletével. A kreativitás határait ostromoljuk, most ezt fontos hangsúlyozni.

Ezekben a műhelyekben azon dolgoznak, hogy elérje az emberi intelligencia határát vagy azon, hogy megkülönböztethető maradjon a mesterséges az emberi intelligenciától?

Tilesch György: Én néha, rossz pillanataiban, úgy szoktam fogalmazni, hogy történt 1956-ban egy ősbűn. Az, hogy az első tudományos szimpóziumon, amelyik azért jött létre, hogy ezt a kifejezést, hogy mesterséges intelligencia mint tudományos domain létrehozza, az öndefiníciója, miszerint, hogy mit akarunk csinálni, valahogy úgy hangzott, hogy a célunk az, hogy az emberi teljes kognitív képességek spektrumát gépi eszközökkel tudjuk emulálni, reprodukálni. Azért használok néha erőteljes kifejezéseket, mint ősbűn, mert nagyon sokfelé mehettünk volna. Ebben viszont implikálódva van a lecserélhetőségnek a kérdése vagy a lecserélésnek a szándéka, hogyha úgy tetszik. Nem biztos, hogy ez volt a cél, de mindenképpen beépült ebbe folyamatba, tehát én, amikor missziót kerestem magunknak mesterségesintelligencia-kutatás és -szakértés szintjén, akkor azt mondtam, hogy nem mesterséges intelligenciával akarok foglalkozni, hanem augmented intelligence-szel, kiterjesztett intelligenciával, ami viszont etikailag úgy határozza meg magát a mesterségessel szemben, hogy a gépnek az a dolga, hogy az ember képességeit kiterjessze és az embert tegye jobbá.

Tehát ne haladja meg, hanem kiterjessze? De hát a kiterjesztés is meghaladás. Amire nem voltam képes eddig, most egy eszközzel képes leszek rá, az egy meghaladás.

Tilesch György: Mondok egy példát, amit szoktam idézni. Egy vezető mesterségesintelligencia-kutató, Yoshua Bengio professzor Montrealból, pár hónappal ezelőtt mondott egy nagyon érdekeset, szerinte az a problémánk alapvetően, hogy nem gondoljuk át a fundamentumoktól, hogy mi a célja ennek az egésznek. Azt a példát hozta, hogy akik mesterséges intelligenciát fejlesztenek, abba az irányba mentek el, hogy úgynevezett agencyt, ha úgy tetszik, hatási képességet adnak a mesterséges intelligenciának, tehát képes velünk beszélni, képes műveleteket elvégezni, képes programozni, képes feladatokat végrehajtani. Azt mondja, hogy mi lett volna, ha az elején már azt mondjuk, vagy még most is mondhatjuk, hogy az emberiség üdvét az fogja a legjobban szolgálni – néhány sci-fi filmre hajazva –, hogy a mesterséges intelligenciát kizárólag orákulumként használjuk. Tehát, mondjuk egy szobor egy szobában, ami elé oda lehet járulni, mint a delphoi jósnő elé és kérni tőle valami jóslatot, valami predikciót. A lényeg az az, hogy mit tekintünk végcélnak és hogy milyen komponenseket vagyunk hajlandók elengedni és persze, hogy kik azok, akiknek éppen a kezében van ez a fejlesztés, kik határozzák meg az irányokat.

Ha valamilyen predikciót kérünk tőle, abból óriási bajok lehetnek, ha a jövőt megváltoztatjuk, mert előre megyünk, nem?

Tilesch György: Én nem hiszem, hogy a jövő megváltoztatása a cél, hiszen még mindig abból indulunk ki, hogy ez a több mint hetven év alatt, amióta elkezdődött ennek a tudományos diszciplínának a fejlődése, különböző szakaszokat vagy kijelöltek előre, vagy retrospektíve megmondtuk, hogy az előző korszak mi volt. Nagyon sokáig az úgynevezett szűk mesterséges intelligencia sávján vagyunk. A következő nagy lépcsőfok elvileg tudományosan, az általános mesterségesintelligencia-rendszer lenne, ami eléri az embernek a teljes replikációját és utána pedig a szuperintelligencia, amiről még annyi filmtörténelem szól, hogy azt értelmetlen elemezni, de igen, ez a Skynet és társai. Most valami köztes állapotban vagyunk, már van egy nagyon hatékony eszköz a kezünkben, ami mutat bizonyos intelligenciára utaló képességet. Ha az emberi intelligenciát komponensekre bontjuk, bizonyos tekintetben már jobb, mint az ember, bizonyos tekintetben meg hülye. Nagyon fontosak a nüanszok és a megkülönböztetések. Az, hogy veszély van benne, teljesen egyértelmű. Csak veszély van benne? Egyáltalán nem. Ez egy kétélű kard, ez a leghatalmasabb fegyver, amit az ember a kezébe kapott valaha, és a mi morális felelősségünk, hogy jó irányba forgassuk ezt a kardot.

Az világos, hogy az emberek melyik csoportja kapta ezt a kezébe? Mert én nem érzem, hogy, mondjuk, az enyémben lenne a mesterséges intelligencia.

Rab Árpád: Pedig ott van, minden technológia maga semleges, hogy mire használjuk, ugyanúgy a tűz vagy az atom, azokkal is el lehet pusztítani sok mindent, meg építeni is. Maga a technológia nem akar semmit, emberek akarnak ennek a technológiának a segítségével más emberektől valamit. A mindennapokban már régóta használunk mesterséges intelligenciákat, könnyebbé teszi az életünket, előkészíti a levelet, megmondja, mikor induljak el egy találkozóra, fordít, satöbbi. Ez nem zavarja az embereket. Az kezdi el zavarni az embereket, mikor úgy érzik, hogy mindent elvesz tőlük. De mi ez a minden? Ez általában úgy néz ki társadalmi oldalról, hogy az én képességemet ne vegye el, de minden más képességnek örülök, ami másnak megvolt, de én most megkapom ingyen. Én társadalmi fejlesztőként dolgozom, ami nagyon különbözik, mondjuk, egy üzleti célú mesterséges intelligencia fejlesztésétől, ahol nem kárhoztatva az üzletet, mert nagyon szeretem, de természetesen a profit, lekötés, szolgáltatás nyújtása, kényelmi buborék a lényeg, az emberek ezeket a döntéseket meghozzák, csak nem veszik észre a mindennapok apró lépéseiben, amikor használják a technológiákat és versenyképességre tesznek szert. Olyan pillanat, amikor nemet kell mondanom a mesterséges intelligenciára vagy akár más technológia, nincs. Nincs ilyen pillanat, hanem szeretjük ezeket használni és megyünk előre az életben. A fundamentumokat kell megtalálni és kigondolni. A másik, hogy új képessége kell lennie az embernek, a mesterséges intelligencia működését, alapvető logikáit megérteni, mint ahogy megértettük a vonatot, mint ahogy megértettük az internetet, és utána behozzuk az életünkbe, és elkezdünk ezzel élni. Most még csak az információfogyasztásnál tart, meg a médiánál, de nagyon hamarosan kritikus társadalmi rendszerekben érezteti a hatását, az oktatásban, egészségügyben, közlekedésben, ahol már azt fogjuk érezni, hogy a gépek kicsit átvették az uralmat. Nem az, hogy lézerpuskát tart a fejemhez, hanem egyszerűen lekapcsolja a fűtést, mert elég neked 21 fok, ez az optimális. Az, hogy a fundamentumoknál mit lehetett volna meghúzni, ez az egyik kedvenc novellám, Asimovnak a három robotika törvénye, mindig előveszik, ha MI-etikáról van szó, ebből az egyik, hogy nem árthat az embernek. De az mit jelent, hogy ártok az embernek? Oké, nem ütöm meg egy vascsővel. De az is ártás lehet, ha úgy akarom felfogni, hogy annyira egy gondolkodási munkát elvégzek helyette, hogy lecsonkítom. Az egyik kedvenc novellám az, ugye van egy novellasorozat és az egyik robot gondolatolvasó is. Nem akar ártani az embernek, ezért elkezd hazudni nekik, hogy igen, elő akarnak léptetni, igen, szép vagy, de amikor a hazugsága találkozik az emberekkel, kiderül, hogy azzal nagyobb kárt okozott. Ezért kell nekünk a társadalom fejével gondolkodni, mert az MI csak lefuttatja magát és a programot. Az ősbűn megtörtént, de ha most az adatoknál megfogjuk, az MI sokkal inkább értékes lesz, mint káros.

Jó, akkor kezdjük a kályhánál. Az MI-t mi egy termékként szoktuk látni, mert, mondjuk, Chat GPT-t használunk. Hogyan készül ez a termék? Ki készíti?

Tilesch György: Nagyon sok grádicson ment keresztül, de azt kell mondanom, hogy az a forradalom, ami már nyolc-tíz éve zajlik, a hasznosságnak a forradalma a mesterséges intelligencia tekintetében, azt idézte elő, hogy azok a komponensek, amelyek ennek a fejlesztéséhez kellettek, kritikus tömegben állottak elő. Először is kellett neki borzasztó mennyiségű adat. A Chat GPT, amit most nagyon megjegyeztünk, az internet teljes szöveges állományán lett betanítva, és amikor azt halljuk, hogy visszaszólt valakinek vagy halállal fenyegette, az semmi más, mint sötét chatszobákban zajló beszélgetéseknek a visszaköhögése ebbe a világba. Nagyon lényeges, hogy neki nincsen szándéka, értelme sincsen, vissza tud gurgulázni dolgokat, amiket beletápláltak. Amit szerintem a köznek meg kell értenie, hogy amíg korábban programozták a szó szoros értelmében a szoftvereket, a mesterséges intelligencia annyiban paradigmaváltás, hogy egy tanításról van szó, ennek teljesen más a metodikája. Fogsz nagyon sok adatot, az alapján betanítasz egy gépet, a mostani modern módszerek szerint embereket is bevonsz ebbe a tanítási folyamatba, miután már megtörtént a gépi alapú, adat alapú betanítás, emberek kontrollálják azt, hogy vajon a válaszok jók-e, a válaszok károsak-e, a válaszok akkurátusak és megbízhatóak-e. Hadseregek állnak a nagy fejlesztő cégeknek a szolgálatában, szerződéses partnerek, AI-eticisták és társaik, nagyon sok ember a fejlődő világban, akik, ha úgy tetszik, adatipari segédmunkásként labellálnak válaszokat és jelzik azt, hogy az jó volt-e vagy sem. Korábban is voltak AI-megoldások, amik körülvettek minket. Amikről a legkevésbé tudunk, azok, mondjuk, a kormányzati és hírszerzési fejlesztések vagy katonai-védelmi fejlesztések, amikről meg sokkal többet tudunk, az az, hogy a social mediát, az e-kereskedelmet, a bankolásunkat, az információfogyasztásunkat már öt-hat évvel ezelőtt teljes egészében mesterséges intelligencia alapú motorok vették át. Ezt elvileg tudjuk, hogyha digitálisan tájékozott polgárnak tartjuk magunkat, de mégis ebből, ha úgy tetszik, a szó atavisztikus szintjén félelmek jöttek, hogy a mesterséges intelligencia valami olyan, amihez nekem nincsen közöm, ez történik velem, valaki húzogatja a szálakat a másik irányba, a Facebook vagy a többiek. A generatív AI, a tavaly novemberi robbanás egyik legfontosabb aspektusa az én szemszögemből, amit alapvetően pozitívnak látok inkább, az az, hogy az ember visszakerült az alkotási folyamatnak valamely kulcsszerepébe, hiszen innentől fogva az várható el tőlünk, hogy mi mondjuk meg a mesterséges intelligenciának, hogy mit csináljon. Ez most egyre szofisztikáltabb lesz, nemsokára nem kell megtanulnunk a mesterséges intelligencia nyelvét, mert természetes nyelvünkön leszünk képesek nagyon akkurátus utasításokat adni. Azért lett ennyire népszerű a Chat GPT és társa és ezért reagált ennyire jól rá a média, mert az ember felismerte azt, hogy neki ebben a folyamatban szerepe van, ő kezdeményezi. Azt még nem ismerte föl szerintem eléggé, hogy ő is kontrollálja, ő mondhatja meg a mesterséges intelligenciának, hogy mit nem lehet vagy felismeri a hibáit. Szerintem ez lesz a következő határ, amit mindenkinek meg kell tanulnia.

Hogyan kontrollálja? Az ember, amikor olvassa a mesterséges intelligencia által generált tartalmat, bennem legalábbis az első kérdés az, hogy biztos, hogy igaz? Van bennem bizonytalanság.

Rab Árpád: Ez nagyon jó hozzáállás, csak a legtöbben nem ilyenek, mint ön.

Jó, de az nem kontroll, ha a legtöbben azt mondják, hogy az a tuti, akkor csak be kell tanítani úgy, hogy nekem, mondjuk, hazudjon. Tud hazudni például?

Tilesch György: Sőt! Úgy is hazudik, hogy nem akar hazudni.

Rab Árpád: Igen, hallucinálni is tud.

Hallucinálni is?

Rab Árpád: Igen, így hívjuk, hogy hallucináció, amikor ő kicsit olyan, mint egy vizsgázó diák, én azt mondom, neki, hogy válaszolj a kérdésre, ő nem mondja, hogy nem tudom, hanem generál egy választ. Lehet nagy sületlenség is, lehet teljes hazugság és lehet részigazságok tömkelege, és ez a hallucináció, ami azért, amikor egészségügyi mesterséges intelligenciákat fejlesztünk, nem helyes hozzáállás. Érdemes három részre szedni a mesterséges intelligenciák működését. Az egyik az adatok. Ez az ő látása. Ez lehet egy autoszenzor, lehet egy kamera, bármi. Az is egy kontroll, hogy milyen adatot adok meg és mit nem. Nagyon sok ember hazudik az adott rendszereknek megfelelően, a legegyszerűbbet mondjam, a szép képemet rakom ki a Facebookra. Ezeket az adatokat eddig gyűjtötte a világ, hívjuk internetnek, adatbázisoknak, ezekből etették. Van a középső része, a számítások. Ezek statisztikai, matematikai modellek, már eddig mondtuk, hogy mit csináljanak, de most már öntanuló rendszerekké váltak, ezeket matematikusok és programozók fejlesztették. Ebbe nem nagyon tudunk belenyúlni. És van a végső, a harmadik, az ajánlások, amiket tesz, tehát ami kijön. Kanyarodj balra az autóval! Olvasd el ezt a könyvet! Nézd meg ezt a filmet! És az is egy kontroll, hogy azt mondom, hogy ez egy ajánlás, nem egy döntés, és a viselkedésemmel azt mondom, hogy rendben, most azt mondtad, hogy még aludjak, de én sporttudatos vagyok, és mégis elmegyek sportolni, én azzal megint tanítani kezdem a rendszert, és azt mondja, hogy az ember azt választotta, hogy inkább sportol. Tehát a kontroll az az, hogy elfogadom, hogy ő tippelget, nagyon pontosan, historikus adatokon, de a kontroll az, hogy eleve ajánlásnak tekintem és nem döntésnek, ez az egyik kulcs. Illetve a kontroll meg az, hogy mi vagyunk az elsők és nem a gép és tudjak nemet mondani. Nem egyetlen nagy döntés van, hogy kell-e MI, csak ma több mint háromszázszor döntöttem az MI mellett, apróságokban.

A tippelgetés megbízhatósága fejleszthető a majdnem bizonyosságig? Hogy, mondjuk, megmondja nekem a Brent típusú olaj árát nagy pontossággal jövő december 13-án a múltbeli adatokból?

Rab Árpád: Persze, ha jól építem föl az adatbázist és minden adatot odateszek, mert ha csak az eddigi olajárfolyamokat nézem, akkor tévedhet, mert, mondjuk, nem nézte a klímaváltozást vagy a háborús helyzetet. Az én jövőkutatási munkámnak pont az a lényege, hogy olyanokat rakok össze, ami nem ez az egy. Ezt ne felejtsük el, hogy meg kell mindig kérdezni, hogy azt az adatot nézi-e, ami nekem értékes. És ha a jövő MI-t fejlesztem, akkor meg én döntöm el az értékeket, hogy, mondjuk, oktatási MI-nél, hogyan akarom osztályozni tíz év múlva a gyerekeket. A tippelgetést nem úgy kell érteni, hogy ne lenne nagyon pontos, csak ne felejtsük el, hogy most kétféle módon is butítjuk az MI-t, az egyik szándékos, az az, hogy összeszűkítem az adatbázist, a másik, hogy most úgy butítjuk, rengeteg ingyenes generált adatot gyűjt össze, viszont a kevésbé tudatos felhasználók nagyobb digitális lábnyomot hagynak maguk után, mint a tudatos felhasználók, és ezzel viszont egyre több kevésbé tudatos adat kerül bele, és ezzel gyakorlatilag mi toljuk el, mi butítjuk. Ez olyan, mintha valaki nagyon sok buta ember között tartózkodik, ő is egy kicsit elbutul.

Elszennyezi.

Rab Árpád: Magyarul, nem az a célom, hogy végtelen adatból generáljon. Az az izgalmas munka a következő tíz-húsz évben, hogy hogyan korlátozzunk. Most van egy emberünk, egy hat-nyolc éves gyerek, aki képes megérteni, amit mondok neki és képes válaszolni, de üres a feje. Most döntjük el, hogy mit teszünk bele.

Tilesch György: CKét dolgot szeretnék mondani. Az egyik, ami miatt eléggé kongatják a vészharangot az MI-szakértőt, az az, hogy az már viszonylag nyilvánvalónak tűnik, hogy a nyelvi modellek gyors adaptációja miatt a jövő évtől már úgy leszünk, hogy 50 százalékban az az adat, ami keletkezett, az már MI által generált adat. Ha úgy tetszik, a saját vizét issza vissza, és most mindenki ezt furcsállja, meg kapkod, hogy ebből adódóan az új betanítási adatok már szintetikus adatok, romlik ezeknek a modelleknek a teljesítőképessége. Tehát ez most az egyik legnagyobb tudományos és matematikai probléma, hogy ennek az origóját megfejtsék. A másik, hogy szerintem az emberi agy, a társadalom vagy a gazdaság agya be van állva ilyen kifejezésekre, hogy digitális transzformáció, és akkor ahhoz azt csatoljuk, hogy, mondjuk, van 10-15 évünk, hogy ezt a szépen lassan hömpölygő digitális transzformációt megcsináljuk. 2019 óta dolgozik az Európai Bizottság az első AI-keretszabályozásán, már akkor is el voltak késve szerintem, de még mindig nem jött ki, jó esélyek vannak, hogy most ősszel ki fog jönni. Adott egy exponenciális technológiánk, amiket alapvetően üzleti szervezetek, a világ legnagyobb technológiai cégei fejlesztenek. Nekik az a dolguk, hogy minél gyorsabban ez kimenjen a piacra és elkezdjen termelni. Az a sebesség, amivel a technológia közlekedik, maximum kéthetente van ugrás technológiailag, engem is megriaszt. Van az üzleti szervezeteknek hatékonysága és vannak már kiépült csatornái ahhoz, hogy az ön telefonján és az ön számítógépén a legtöbb szoftver, amit használ, az már vagy MI alapú vagy két hónap múlva lesz az, és akkor ehhez képest vannak csigalassúsággal közlekedő más faktorok, mint a szabályozási környezet adaptációs lassúsága meg a társadalmi adaptációnak a lassúsága. Az MI-technológia fejlődése a legsebesebb, a társadalmi adaptáció pedig a leglassabb ezek közül, és ezeket valahogy közös platformra kellene tudnunk terelni, mert különben baj lesz.

Az látszik, hogy a társadalmak hogy fognak ehhez alkalmazkodni? Mondjuk, Szingapúrról azt mondják, hogy ott minden autó kamerája be van kötve a központi rendszerbe, ráadásul önkéntesen. Ők gyorsabban fognak alkalmazkodni?

Rab Árpád: Gyuri nagyon fontos dolgot mondott itt a végén is, és az egyik az az, hogy hogy butul: képzeljük el a generált adatoknál, hogy eddig, mondjuk, tanítottuk a festészetet, aki nem tud festeni, algoritmusokat ír, de eddig csak emberek által festett képeket mutattunk. Az elmúlt két év során létrejött több milliárd olyan kép, amit a mesterséges intelligencia generált, ahol én direkt olyanokat kértem, hogy cápatámadás a Balatonban, satöbbi. Most ezzel is tele van az internet és ő most ebből gazdálkodik, és ha én azt kérem, hogy a Balatonról mutasson nekem képeket, most már ezt is fel fogja mutatni, erről beszéltem a butításnál. A technológiai sebesség és a társadalmi adaptáció között szerintem nem azon múlik, hogy milyen eszközöket használ, hanem hogy fejben hogyan adaptálódik arra, hogy ennek mi a megoldó értéke. Az, hogy minden be van kamerázva, megközelíthetem úgy, hogy totális megfigyelés, megközelítem úgy, hogy végre biztonságos a közlekedés. De itt azt kell látnunk, hogy egyrészt nagyon erőforrásigényes technológiáról van szó, a processzoridőt, a vízfogyasztást, az internet sávszélességet, mindent nagyon fogyaszt áramot, tehát nem az lesz, hogy mindenhol végtelen számú MI-nk van, hanem az van, hogy el kell döntenünk, hogy hol használjuk. Van rengeteg más kihívás a klímaváltozástól kezdve a holnapi paradicsom megvásárlásáig vagy hogy milyen munkahelyem lesz, és akkor, amikor az MI találkozik ezekkel a problémákkal a társadalom szemében, akkor fogja adaptálni, hogy na, olcsóbban tudtam vásárolni. Hamarabb jutottam el valahova. Most már Amerikának is tudok dolgozni, pedig nem tudok angolul, és ez lesz az adaptáció, amikor az amúgy való életben meglévő problémái mellé teszi az MI-t, és az a kérdés, hogy ezek közül mit válaszol meg, és eddig eléggé holisztikus MI-kről beszéltünk, nyelvi, nagy kommunikációs nagy cégek által gyártott MI-kről. De igazából a kicsi MI-k az érdekesek, hogy mit old meg, mondjuk, a lakásom fűtését, és akkor kezdtem el használni vagy sem, tehát az adaptáció egy gyakorlati megélési tapasztalási folyamat. Egy eszköztárból lehívunk megoldásokat. Minél többször az MI a megoldás, annál gyorsabban és annál mélyebben adaptálódom.

Tilesch György: Pár évvel ezelőtt Párizsban dolgoztam az Ipsos nevű nagy cégnél, ahol nagyon sok mesterségesintelligencia-projektet, közvélemény-kutató projektet vezettem a világban. Már akkor, 2019 környékén látszott, hogy az olló megint kinyílt, csak regionális értelemben. Ázsia borzasztóan optimista volt a mesterséges intelligencia kapcsán, ott 80 százalékos támogatása volt ennek a technológiának. Az is látszott már akkor, hogy náluk a sebesség, amivel ez elérte a gazdaságot és a társadalmat, már akkor látványosan magasabb volt, mint a miénk, és az egyik szabály, amit azt hiszem, hogy azóta mindenki ismer a szakmában, az az, hogyha újságcikkeket olvasunk a mesterséges intelligenciáról, akkor inkább félünk tőle, ha meg elkezdjük használni, akkor meg inkább szeretjük. Már a generatív AI-forradalom első felmérésén azt hozták ki, hogy azok között, akik munkahelyi környezetben használják, kétharmados a pozitív hozzáállás. Ázsia borzasztóan optimista, Kína, India, Szingapúr, ebből adódóan a fejlesztéseik, az invesztícióik, a társadalmi befogadás sokkal gördülékenyebben megy, és a skála másik végén egyébként Nyugat-Európa áll, ahol csak huszonvalahány százalékos volt az elfogadottság. Ebből a megjegyzendő az az, hogy mikor éri el a mesterséges intelligencia az adaptációnak azt a szintjét a társadalom számára, hogy ő azt hasznosnak ítéli meg és mik azok a kulcsterületek, amikre úgymond nagy téteket teszünk, hogy a polgár ezen keresztül fogja meglátni azt, hogy ez neki jó. Erre a példám Dubaj. Nagyon sokat dolgoztam a dubaji kormánynak, amely 2017-től eszméletlen mennyiségű kormányzati projektet tolt rá a mesterséges intelligenciára, ezek mind kormányzati szolgáltatási projektek voltak, amelyek a célja a citizen happiness, az állampolgári boldogság fokozása. Például bekamerázták egész Dubajt, mögé raktak egy computer visiont, tehát egy komputeres látens algoritmust, és ezzel a bűnözést sikerült levinni a nulla környékére, mert bármi történik, azonnal reagál a rendszer, és két percen belül ott van a rendőr. Ültem olyan rendőrautóban Dubajban, ami ugyanezt tudja, megy az utcán és mindenkinek az arcát pásztázza, és ha ez találkozik valamilyen adatbázissal, amelyik szerint az illető valami bűnöző vagy terrorista, azonnali intézkedés következik. Ezekről európai szemmel nehéz eldönteni, hogy jó-e vagy sem. De azt például sokkal könnyebb elfogadni, hogy, mondjuk, Dubajban, ha meg akarom hosszabbítani a jogosítványomat, csak elküldöm e-mailben a kérést egy mesterséges intelligenciának, és azonnal ott van a válasz, meg van hosszabbítva.

Nem kell kormányablakba menni, időpontot foglalni?

Tilesch György: Nem kell kormányablakba menni, nem kell várni senkire. Ez például nagyon jó. Ott már virtuális rendőrőrsök vannak csak, nem lehet bemenni egy rendőrőrsre, hanem minden bevásárlóközpontban van egy szoba, ahol egy falon keresztül tudunk beszélgetni egy rendőrrel. A helyi vízművek kiépített egy olyan szolgáltatást, sivatagról beszélünk, a víz kincs, ha elmegyek otthonról, elmegyek nyaralni, nyitva marad a csap vagy csöpög, akkor azt érzékeli egy szenzor és egy mesterségesintelligencia-ügynök elküld nekem egy SMS-t, hogy nyitva felejtetted a csapot, akkor most mi elzárnánk helyetted. Ezek fantasztikus dolgok, a polgár a bőrén érzi ezt, szerintem a kormányzati szolgáltatások ilyenek, az életem könnyebb tőlük, kevesebb a bürokrácia. Akik ebben gyorsan léptek, azok látványosan előrejutottak. És akkor még van két terület, az oktatás meg az egészségügy, amiben nagyon bizonyított ennek a hatása. A polgár akkor fogja a mesterséges intelligenciát befogadni, amikor nagyon jól körülhatárolt területeken életjobbító faktorként érzékeli.

Olyat nem fog mondani a mesterséges intelligenciában a vízműügynök, hogy ne engedjem tele a kádat és ne fürödjek, mert a víz, az kincs, hanem csak gyorsan, öt perc alatt tusoljak le?

Tilesch György: Mondhat, persze.

Európában fogunk ennek örülni? Számít, hogy hol vagyunk az elfogadásban?

Rab Árpád: Nagyon sokan lettünk nagyon gazdagok és az erőforrásokkal gazdálkodnunk kell. Mondhatom azt, hogy ez a totális kontroll, az orwelli vízió, meg mondhatom azt is, hogy megmentem a Földet. A koronavírusoknál ezt kipróbáltuk, hogy hordom a maszkot azért, hogy más sem legyen beteg, én se legyek beteg. Az a nagy szerencsénk, hogy eddig végtelen mennyiségben pocsékoltunk. Van egy olyan út, ami azt mondja, hogy csak a pocsékolást veszem el, de még mindig jól érzem magam, és ezt, ha lehalászom az MI-vel, akkor jó. Természetesen a gép abban is segít, hogy a kivételeket el tudja simítani, mert ő gép. Két dologra kell, szerintem, figyelni, az egyik az, hogy azt is el kell döntenünk, hogy mikor kell ennyire robusztus rendszert használnunk, mint az MI. Én az Unescóval dolgozom nagyon sok országban, és egyszerűen SMS alapú technológiákkal maláriajárványokat tudunk megelőzni. Nem kell föltétlen totális kontroll. A másik pedig az, hogy melyek lesznek azok a komplex rendszerek, ahol nem tudjuk kikerülni, hogy a társadalom találkozzon vele, és szerintem az egyik az egészségügy. Olyan helyzetben vagyunk szerte a világon, nemcsak Magyarországon, hogy kevés az orvos, mert napi kétszázezer új ember van a Földön, hat év egy orvosi képzés. Rengeteg a pénz az egészségügyben, másrészt nincs WC-papír a kórházban, mellette meg a legnagyobb biznisz a világon. Egyre inkább elterjed az otthoni ápolás, nincs is kórházam, mégis van. Mivel az egészségügy nekünk kritikus terület, boldog akarok lenni és egészséges, ott fogjuk szerintem legelőször meghozni ezeket a kritikus döntéseket. Holnap megműt egy robotorvos, majd fél év múlva egy emberorvos, vagy akár a robotjogásznál, le lehet programozni a jogot, ütköztél valakivel, három perccel később már le is mondta a biztosító, ezt meg tudjuk csinálni technológiával. Azt mondja, nem, nem, én fellebbezek, mert szerintem én egyedi eset vagyok. Azt mondanám, hogy nem, három percen belül megvan, de nincs fellebbezés. Mit választanánk? Ezek azok a kérdések, amiket magamnak is felteszek, a társadalomnak is felteszünk és üzleti modellek mentén fognak eldőlni.

A társadalom hogy tud ebben egységes választ adni? Valami tanítás után megmondják neki vagy elmagyarázzák neki, hogy biztos, hogy jobb, hogyha három perc után vége van az ügynek és nem kell bíróságra járni? Még hogyha lehetnek benne egyedi kivételek is? Ezerből egy, és akkor elfogadja?

Rab Árpád: Ilyen társadalmi feltanításnak az oktatási rendszereket hívhatnánk, de azok talán még a társadalomnál is lassabbak, a legkorszerűbb oktatási rendszerekben is 12 év átfutással számolunk. Az emberek megtanulják, ha látják, hogy mi az érdekük benne. Szerintem nem azt kell, hogy megtanítsd, mert az emberek megtanulják, hanem az, hogy megmond, hogy neked miért jó és mikor jó. Én mindig versenyképességet akarok tanítani, nem fenyegetéseket. Magyarországon is végtelen számú stratégia született, hogy megszeressék az internetet az emberek. Voltak ezek közül sikerre ítéltek, például be tudsz lépni amerikai könyvtárakba és olvasni. Csak így nézték az emberek, hogy miért jó ez nekem. Akkor bejött az, hogy meg tudod nézni az osztálytársaidat, hogy mi van velük. Akkor ráugrott a magyar. Más országban másért ugrottak rá. Nem tanítani, érdekeltté kell tenni, akár anyagi, akár motivációs téren, és az nem érdekeltté tétel, hogy megijesztem és azt mondom, hogy ha te ezt nem tudod, akkor elvesztetted a munkádat, akkor vége mindennek.

Tilesch György: A probléma az, hogy a nagy megoldóképletünkben jelen pillanatban az van jelen, hogy vannak a nagy technológiai platformok a maguk üzleti modelljeivel és érdekeivel, ahol most gyakorlatilag az ő egyetlen dolguk az, hogy a már kimunkált modellek terjedését semmi se akadályozza a világban és van a szabályozói elkésett logika, ami tulajdonképpen még mindig csak azt tudja jól megmondani, hogy mit nem szabad. A megoldóképletnek úgy kellene kinéznie, hogy mi nekünk a jó AI társadalmilag és hogy fog az ember rájönni arra, hogy ez neki jó. És ehhez viszont a kormányzatoknak is sokkal inkább ezt a fajta incentív állást kellene jól elsajátítania: érdekeltté kell tenni az embereket benne.

Művészetet fog csinálni a mesterséges intelligencia? Említette a Balatonban a cápát, az lesz olyan, hogy énnekem utána egy katarzisélményem lesz? Vagy az az én ízlésemtől függ, ami olyan, amilyen?

Rab Árpád: Miért ne lehetne? Ez egy alapkérdés, hogy most az ecset számít vagy a festő. Szerintem a művészetnek van három állomása, az alkotó, a csatorna és a befogadó. A befogadó szemszögéből, hogy azt most MI festette vagy ember, ha bennem valamilyen hatást kivált, katarzist, bármit, akkor végül is mindegy. Az alkotó szemszögéből az történik, mivel ez egy képességjavító technológia, hogy aki eddig középszerű volt, az most felső kategóriásként tud viselkedni. Nyilván az eddigi felső kategóriásoknak ez nem jó, pont tőlük lopta el a tudást az MI, ők veszteségként élik meg. De magát az alkotás folyamatát, ha, mondjuk, szeret festeni, nem veszi el, de a pénzét igen. Az, hogy ki festi, szerintem nem gond, hanem tudni kell, és akkor majd én döntök, hogy nekem lemezen jó meghallgatni valamit vagy streamingen, vagy a kézműves termék a jó vagy a gyári. Ezek olyan döntések, ami mindegyik lesz, és a piac majd választ.

Mi lesz a műtárgypiaccal? Ugyanolyat fog tudni csinálni nekem, egy Ming-kori vázát 3D nyomtatással? Ember legyen a talpán, aki megmondja. Össze fog omlani minden?

Tilesch György: Nem, sőt!

Rab Árpád: Nem egyáltalán nem, a műtárgypiac sosem arról szólt, hogy konkrétan az a tárgy mennyit ér, hanem arról, hogy melyik hálózatban fut, meg mi mekkora értéket tulajdonítunk neki vagy az, hogy ki birtokolhatja és ki nem. Ha egy példány van belőle és bizonyíthatóan az enyém és a hálózat felértékelte, akkor sokat ér. Semmi máson nem múlik. Azért egy átlagember nem a műtárgypiacon nyomul, nem is csak a pénzösszeg miatt, nem is ismeri. Tehát ahhoz kell tudnom a kódot, hogy annyira pontos legyen. Lehet, hogy a másikon nagyon drága öltöny van, de én nem ismerem az öltönyöket, ezért nem tudom, hogy az drága öltöny, csak azt látom, hogy öltöny. Ettől még tudok hozzáállni. Nem, szerintem nem ezeket borítja föl, az ipari társadalomnak, az előző hullámnak voltak logikái, amik mentén értékeket fogalmaztunk meg. Például én nem vagyok kreatív, de monotóniatűrő vagyok. 12 órán keresztül úgy tudok számlákat összevetni, hogy nem hibázok, a világ legjobb könyvelője, de ez a monotóniatűrést elvette a gép. Eddig el tudtam menni középszerűen egy munkahelyen, nem vagyok jó, nem vagyok rossz, többé-kevésbé dolgozom. Ezt elvette a gép, mert ő pont ilyen. A gép nagyon jól hozza a 80 százalékot, és akkor most mindenki rá van kényszerítve arra, hogy ő a felső húsz százalékba tartozzon, de ez nem lehet, mert nem tartozhat mindenki oda, és itt vannak a pánikok. Azt kell megnézni, hogy én miben vagyok a felső húsz százalék, és ha ebben kezdek el gondolkodni, akkor segítővé válik. Megbolygatja a piacokat, de az erőforrások értéke minél ritkább, annál inkább megnövekszik. Tehát azért fejlesztjük ezeket a rendszereket, hogy legyen elegendő vizünk. Csak itt van egy ilyen hajsza, verébhajsza, hogy ezek a cégek nagyon sokat befektetnek és azért is pörgetik, hogy jöjjön vissza a pénz. De már egymást is pörgetik, merthogy még okosabbnak kell lenni. Reméljük, hogy majd utolérik magukat, de a végső ponton akkor is a Föld lesz itt és a Föld erőforrásai, távolsága, benzin, a levegő, víz és azok közül mit oszt be. Tehát ezek lesznek még értékesebbek, még a műtárgyaknál is.

Meg lehet mondani a mesterséges intelligenciának, hogy az emberiség nagy problémáival foglalkozzon?

Tilesch György: Az már pár éve világos, hogy a kérdés az, hogy mit definiálnunk az emberiség nagy céljainak.

Klímaváltozás, a vízhiány, a szárazság.

Tilesch György: Akkor egyről beszélünk.

Méhek pusztulása, órákon keresztül mondhatnám.

Tilesch György: Az ENSZ-nek vannak a társadalmi fejlesztési célkitűzései, és az már szintén négy-öt évvel ezelőtt kimutatható volt, hogy 80 százalékos átfedés van az akkori MI-technológiák és ezen célok között. A problémám nekem az, hogy látok csodálatos kisprojekteket ebből a világból, meg a nagy cégek egyébként valóban támogatnak ilyeneket. Ezt úgy hívják, hogy AI for good, tehát a mesterséges intelligencia a közjóért, és a Google, a Microsoft, az összes nagyoknak vannak erre dedikált laborjaik, akik ilyen nonprofit és társadalmi célokat segítő eszközöket hoznak létre. A probléma az, hogy ezek nincsenek skálázva. Az üzleti megoldások vannak skálázva, ezek meg olyanok, amiket kiteszünk a dicsőségfalra, hogy na, hát ezen is dolgoztunk. Ez a legnagyobb probléma. Ez egy kétélű kard, szerintem a klímaváltozás egy csodálatosan jó példa, mert meg tudjuk mutatni szignifikánsan listázva azt, hogy hogyan súlyosbítja a klímát, a másik oldalon meg hozzá tudjuk tenni azt, hogy csodálatos megoldási lehetőségek vannak abban, hogy mást ne mondjak, mondjuk, a Google 40 százalékkal csökkentette a szerverparkjai energiafogyasztását azáltal, hogy mesterséges intelligenciát használ arra, hogy optimalizálja. Tehát akkor járunk jól, ha a mesterséges intelligenciára valamiféle optimalizációs motorként tekintünk, és a klímaváltozásban rengeteg ilyen lehetőség van. A probléma az, hogy az akarat és a támogatás, a pénzügyi eszközök ahhoz, hogy ezek gigantikus programokká álljanak össze, az még nincs meg, nekem ez a személyes problémám vele.

Rab Árpád: Nem a kérdésekkel van a gond, amúgy tudjuk, mit kell tenni. A gond az, hogy összeértünk, zárt a rendszer, és mindenki hat mindenkire, emiatt borzasztóan összetetté válik, viszont mégis a különböző régióknak teljesen más kihívásaik vannak. A fejlődő országokban azon dolgozok, hogy legyen több autójuk, itt meg azon dolgozok, hogy kevesebb legyen. Van, ahol a víz kevés, van, ahol meg sok. Az MI-ben két dolgot tudunk kezelni, egy: olyan holisztikus megoldásokat, amiről tudjuk, hogy nem tudok mást tenni, intelligens megoldásokra van szükségünk, hogy hogy tudunk egyszerre több legyet lecsapni. Igen, nagy hőt termel a szerver, viszont tudok fűteni egy falut. Eddig érzés alapon csináltam, de most az MI segítségéve én is megmondhatom, hogy jó. A másik meg a háttérbe húzódó folyamatok, hogy amúgy a klímaváltozás elleni harcot segítő emberi cselekvéseket hatékonnyá tegyem, most nem akarok a budapesti autós közlekedés nagy csatájában igazságot tenni, de mondjuk azt, hogy az autómegosztó szolgáltatások biztos, hogy jók. Eleve üzleti modellként is, mert nem kell autó, csak néha. Ez nem képzelhető el ilyen rendszerek nélkül. Természetesnek kezeljük, de én odasétálok az utcán egy autóhoz, lefotózom, beszállok, elmegyek valahova, a 10-15 milliós autót leteszem, kiszállok, továbbmegyek, a háttérben a parkolás zajlik, okosszerződés jön létre. Mindenki azon dolgozik, hogy én csak beszállok és kiszállok. És ilyen rendszerekkel vagyunk teli, mert intelligenciára van szükségünk.

Mennyire biztonságos a rendszer? Mert ha elképzelem a vastagbelemben dolgozó robotsebészt, nem szeretném, ha valaki éppen akkor dobna fapapucsot a rendszerbe és megállna minden.

Tilesch György: Akkor egy mai sztori erre. A Microsoft egyik alkalmazottja mintegy 35 terrabájtnyi adatot hagyott a GitHub nevezetű közösség oldalán, elszúrt egy linket, jóval kevesebbet akart megosztani, de be lehetett menni mögé, és ilyenkor ébred rá az ember arra, hogy mennyire sérülékenyek a rendszerek, ugyanis ezek az adatbázisok mesterségesintelligencia-modellek betanító adatbázisait tették mindenki számára elérhetővé. Ha valaki oda bemegy rossz szándékkal, akkor meg tudja mérgezni azokat a betanító adatokat, amiben az a gyilkos, hogy ezt általában nem is azonnal vesszük észre, csak évek múlva, hogy hamis információkat kaptunk valakinek a szándékai szerint. Ha biztonságról beszélünk az MI tekintetében, akkor alapvetően két fő kategóriáról kell beszélni. Az egyik a klasszikus kiberbiztonsági terület, amikor valaki valamely rossz szándékkal kíván nekünk ártani. A bűnözőknek egyébként most sajnálatos módon van egy kis előnyük, mert a generatív AI-forradalom hozzájuk is elért, és legalább négy-öt olyan nagy mesterségesintelligencia-modell kering előfizetéses alapon a sötét weben, a dark weben, ami kifejezetten a bűnözési tevékenység elősegítését szolgálja. Mondjuk, spamleveleket perszonalizáltan képes generálni vagy adatlopó e-maileket bárkinek, hogy csak a legegyszerűbb példákat mondjam. Teljesen új típusú kibertámadások fognak jönni, amik nem arra mennek csak rá, azt is sokkal hatékonyabban fogják csinálni, hogy bemegyek, elrabolok valamit, kimegyek, hanem ez a kútmérgezés. Amikor a társadalom közös információbázisát mérgezik meg, az egy nagyon gyilkos kimenetel, és akkor még nem beszéltünk a deep fake-kről, tehát az AI által hamisított videókról, nem beszéltünk arról, hogy, mondjuk, politikai kampányolásban már öt-hat éve stabilan használnak totálisan perszonalizált mesterséges intelligencia generált videókat, ami tudja önről, hogy miket szeret, miket nem, milyen színeket szeret, milyen üzeneteket szeret, és az alapján egy totálisan perszonalizált kampányüzenetet tud kapni, ez is szerintem gyilkos. Na és akkor van a safety része, azok inkább az ilyen búvópatakszerű változások: a gyerekünk, ha interaktivál egy nyelvi modellel kontroll nélkül, akkor hány év múlva vesszük azt észre, hogy miket táplált a fejébe vagy miket adott el neki. Ez igazából a biztonság része, amire szerintem most a nagy cégeknek sok figyelme irányult, ezért mondtam, hogy itt ármádiák dolgoznak azok, hogy ezeket minimalizálják, de a társadalom még nem tudja ezeket igazából megfelelő szinten kezelni, holott a végső határ, a végső ellenállás, a végső bástyánk a mi elménk és a mi kritikus gondolkodási képességünk.

Rab Árpád: Szinte minden technológia kockázatos, az autóvezetés is az, és a társadalom kitettsége egyre nő, ez tény. Az történik, hogy mindig jönnek a kihívások, azokra az emberiség felkészül, megy előre, van egy csomó társadalmi változás is. Biztos, hogy millió ilyen incidens lesz. Azt kell nagyon jól megértenünk, hogy nemcsak a központi magot kell védeni, hanem a perifériákat is. Én ma tudok egy kórház lenni egy MI segítségével. Olyan okoseszközök vannak otthon, hogy otthon ápolom, de az feltörhető, mert ha az okostelefonján viszi az adatait, jó néhány okostelefon egy átjáróház. Ezt nem fogom tudni kivédeni, hanem adattudatosságra tudok tanítani embereket és azt, hogy rendben, az élet ilyen, de van két-három dolog, amiben ne hibázz. Ezért tartom a szabályozásnál szinte fontosabbnak az emberi tudatosságot, a médiatudatosságot, csak nem a klasszikus médiatudatosság, hanem az, hogy kritikus társadalmi tevékenységek mediatizált platformon keresztül való megközelítése, tehát hogy az orvosommal beszélek, médiaként érzékelem, de ő egy MI. Ezt nem fogjuk tudni kikerülni, rengeteg a kockázat.

KAPCSOLÓDÓ HANG
Címlapról ajánljuk
VIDEÓ
inforadio
ARÉNA
2024.12.23. hétfő, 18:00
Gálik Zoltán
a Budapesti Corvinus Egyetem docense
EZT OLVASTA MÁR?
×
×
×
×
×