Za Nicka Bostroma sam se zainteresirano slušajući Mindscape podcast Seana M. Carolla. Antropične ideje (Anthropic principle) koje iznosi su zanimljive i potiču na razmišljanje. Posebno je interesantno objašnjenje “Doomsday argumenta” pomoću kuglica koje se izvlače iz dvije različite posude. Ideja da čovječanstvu prijeti uništenje u relativno kratkom roku – što se može zaključiti temeljem računa vjerojatnosti koji pokazuje da je ukupan broj ljudi koji su živjeli do trenutka izračuna proporcionalan ukupnom broju ljudi koji će ikad živjeti. Odnosno, činjenica da izračun radimo sada, nakon svega pedeset tisuća godina postojanja ljudske civilizacije, što je u kozmičkim razmjerima izrazito kratko razdoblje – snažno podupire vjerojatnost da naše društvo neće trajati izrazito dugo.
Uglavnom, ovaj misaoni eksperiment je poznat i račun vjerojatnosti je ispravan i pokazuje da bi naša civilizacija – gledajući s pozicije neutralnog promatrača, vrlo vjerojatno mogla trajati kraće nego što mi intuitivno očekujemo. Jasno, ova ideja se temelji na računu vjerojatnosti – dakle nije garantirana, ali daje opće smjernice za razmišljanje o temama o kojima imamo premalo informacija.
Zanimalo me što Nick Bostrom misli o neposrednoj budućnosti i temama koje ona nosi. Kao primjerena tema učinila mi se umjetna inteligencija, koju Nick Bostrom obrađuje u knjizi Superintelligence iz 2014. godine. I u ovom slučaju se radi o sistematičnom razmišljanju bez dovoljno informacija, no – kako sam ubrzo uvidio i bez nekog osobitog uporišta u matematici.
Autor u knjizi istražuje puteve razvoja i dosege umjetne inteligencije iz različitih kuteva, s konačnim ciljem upozorenja na nesagledive posljedice zanemarivanja kontrole nad tim procesom.
Pristup je sistematičan, ali izrazito spekulativan i, po mojem mišljenju, pretjerano pojednostavljen. Ako želimo saznati za moguće probleme s kojima će se društvo suočiti u procesu nastanka i primjene umjetne inteligencije – onda je pregled iz knjige koristan. No, interpretacija problema kao i zaključci su puko nagađanje utemeljeno na pojednostavljenim konceptima tehničkih i društvenih znanosti na kojima se umjetna inteligencija razvija.
Autor u petnaest poglavlja opisuje okolnosti i perspektivu razvoja umjetne inteligencije počevši od historijskog pregleda različitih pokušaja, a onda započinje analizu pretpostavljajući mogući razvoj različitih smjerova daljeg razvoja umjetne inteligencije – od simulacije rada ljudskog mozga do razvoja inteligencije u sasvim “umjetnoj” formi te ih sukobljava ideji razvoja napredne inteligencije primjetnom farmaceutskih pripravaka te genetskom intervencijom u razvoj čovjeka.
Slijedi raščlanjivanje načina na koji će se buduća napredna umjetna inteligencija manifestirati – radi li se o inteligenciji ljudskog tipa, samo za nekoliko redova veličine bržoj ili će superinteligencija biti kognitivno znatno naprednija.
Autor se pita, na primjer, hoće li se umjetna inteligencija razviti kao “oracle” – kao inteligentni sustav bi mogao pronaći ili sintetizirati odgovore na najsloženija pitanja, ili kao sustav tipa “servant” koja bi imao i izvršne funkcije, te trebamo li se potruditi najprije razviti superinteligenciju tipa “oracle” kako bi ju iskoristili u kontroli razvoja drugih vrsta.
Međutim, oštra distinkcija kojom Bostrom dijeli i raščlanjuje nastajanje i razvoj inteligentnih sustava djeluje kao pretjerivanje. Primjerice, autor na osnovi pretpostavke da bi se inteligentni sustav mogao pojaviti brzo – a to znači da bi se neki tehnički sustav iznenadnim ingenioznim tehnološkim pomakom mogao odjednom osamostaliti – otvara brojne nove pretpostavke o načinu ponašanja onih koji u razvoju takvih sustava sudjeluju.
Zapravo, glavno pitanje svih pitanja, prema autoru je uspostave okolnosti koje bi garantirale da se superinteligentni sustav zadrži unutar granica koje neće ugroziti čovjeka, manje inteligentno i slabije biće.
Naime, ako se superinteligencija definira kao forma koja ima karakteristike ljudske inteligencije ali bitno naprednije te ako se sve bitne moralne i druge “ljudske” karakteristike smatraju naučenima, što autor dijelom pretpostavlja a dijelom eksplicitno ističe, onda se suočavamo s mogućnošću pojave entiteta sposobnog za nekritički i potpuno slobodni doseg bilo kojeg cilja, a djelovanje tog sustava bi bilo lišeno bilo kojih moralnih ili kulturnom evolucijom razvijenih “ljudskih” normi.
Ako je takav umjetno inteligentni entitet moguć – onda su i više nego opravdana pitanja – tko će ga kontrolirati, tko će mu određivati ciljeve, kako će ti ciljevi biti definirani a da ne budu podložni pogrešnoj interpretaciji te da uključuju samo one puteve realizacije koji nisu u suprotnosti s ostalim interesima čovječanstva.
Autor se pita, u nastojanju pronalaženja metode kojim bi se uspostavili mehanizmi kontrole, može li se superinteligentnom umjetnom agentu usaditi indirektni cilj kao što je, na primjer, povećanje općeg ljudskog zadovoljstva ili blagostanja. Ako se i može, kako definirati to blagostanje i kako osigurati da se ono ravnomjerno distribuira.
Također, otvara se mnoštvo pitanja o utjecaju superinteligentan sustava na ekonomiju – kako bi se ona razvijala pod utjecajem superinteligentnog “singletona” – jedinstvenog sustava s vlastitom agendom, a koji bi pružao otpor razvoju bilo čega što bi moglo ugroziti doseg usvojenog cilja. Ili, što bi se desilo kad bi superinteligentni sustavi, djelujući istovremeno i samostalno, preuzeli većinu ili sve ljudske ekonomske aktivnosti. Tko bi profitirao u takvom društvu? Vjerojatno je da bi profitirali vlasnici kapitala – odnosno vlasnici takvih sustava, dok bi oni čije aktivnosti su supstituirane bili zakinuti. No, nije tu kraj pitanjima – jer ako govorimo o osamostaljenju superinteligentnih sustava, zašto oni ne bi imali vlastitu ekonomsku moć.
Gledajući na problem superinteligencije očima Nicka Bostroma – možemo biti zabrinuti. Ne samo da nam prijeti opasna budućnost, nego je i mogućnost naše obrane neizvjesna. Način na koji bi trebali pristupiti razvoju ove nove tehnologije, i koji bi garantirao zaštitu od njene nekontrolirane ekspanzije, je toliko složen i delikatan te očekuje disciplinu i stalnu koordinaciju na mnogim tehničkim i političkim razinama – da se čini prilično nevjerojatan.
Ipak, mislim da je superinteligencija, kakva je opisana u knjizi, neizvediva. Ujedno, mislim da je to i glavna pogrešna pretpostavka zbog koje opisani superinteligentni sustavi izgledaju opasniji nego će, vjerojatno, u budućnosti biti. Naime, inteligencija ne postoji kao apsolutna kategorija, niti se može pojaviti iz ničega. Superinteligencija će se pojaviti, to je izvjesno, ali će biti rezultat interakcije s ljudima i sa svijetom u kojem zajednički funkcioniramo – pa će i njen oblik biti takvoj interakciji prilagođen.
Ipak, stvarna prijetnja postoji, ali se ona sada, a mislim i u doglednoj budućnosti, može predstaviti problemom ograničenja utjecaja automatiziranih sustava na ljudsku percepciju i odluke. Već je taj zadatak dovoljno složen i aktualan da bi se njime već sada trebali najozbiljnije baviti. Naime, ako moramo donositi važne odluke na temelju informacija koje pripremaju samoučeći sustavi bazirani na “deep learning” i sličnim sve “inteligentnijim” algoritmima – onda bi morali biti sigurni da ti sustavi ne unose sistemsku grešku u naše odluke. I upravo to nastojanje – da se stalno pitamo jesu li sustavi koje razvijmo korisni te da pronalazimo načine kojima ćemo tu korisnost provjeravati, mogu definirati oblik interakcije koji će u budućnosti uspostaviti ravnotežu između superinteligentnih sustava i ljudi, njihovih tvoraca.
Mindscape – epizoda podcasta Seana Carrola s Nickom Bostromom
Nick Bostrom, born 10 March 1973) is a Swedish-born philosopher at the University of Oxford known for his work on existential risk, the anthropic principle, human enhancement ethics, superintelligence risks, and the reversal test. In 2011, he founded the Oxford Martin Programme on the Impacts of Future Technology, and is the founding director of the Future of Humanity Institute at Oxford University. In 2009 and 2015, he was included in Foreign Policy’s Top 100 Global Thinkers list.
Bostrom is the author of over 200 publications and has written two books and co-edited two others. The two books he has authored are Anthropic Bias: Observation Selection Effects in Science and Philosophy (2002) and Superintelligence: Paths, Dangers, Strategies (2014). Superintelligence was a New York Times bestseller was recommended by Elon Musk and Bill Gates among others, and helped to popularize the term “superintelligence”.
