Myten om AI-katastrofen

För den som är obekant med klassikern Terminator (och dess bitvis nästan lika klassiska uppföljare, samt de övriga) så kommer armageddon inte att orsakas av gudomliga ingrepp, kärnvapenkrig (även om det förekommer), meteoritnedslag eller något annat klassiskt grepp.

The system goes on-line August 4th, 1997. Human decisions are removed from strategic defense. SkyNet begins to learn at a geometric rate [exponentiell, säger explosiv, tillväxt]. It becomes self-aware at 2:14 a.m. Eastern time, August 29th. In a panic, they try to pull the plug.

Katastrofen berodde på ett alldeles för intelligent datasystem som löpt amok. När Skynet, som det heter, blev tillräckligt stort, smart och riskabelt att ha igång, så försökte de som skapade det att stänga av det. Skynet tolkade detta som att mänskligheten försökte att förinta det. Svaret blev att försöka förinta mänskligheten. Vilket det hade möjlighet till, uppkopplat som det var till allt möjligt. (Vilket tempus man nu ska använda om något som i filmen händer i en framtid som för oss redan inträffat.)

Ett hot i den stilen är det många som oroar sig för. Idag, på riktigt. Inte är det de vanliga förvirrade foliehattarna heller. Idén har beskrivits som kreationism för överintelligenta. Låt oss kalla den "myten om AI-katastrofen".

I korthet går den ut på följande scenario: Någonstans lyckas man få fram ett AI-system (dator, program, robot, nätverk ...) som är så intelligent att det kan skapa ännu intelligentare system. Som i sin tur kan skapa ännu intelligentare system, och så vidare ... Vad blir resultatet av en sådan explosion av artificiell intelligens? Ingen vet, och det är därför det matematiska begreppet "singularitet" används: En punkt som är odefinierad, där de regler som dittills gällt upphör att gälla. (Den överlägset mest kända tillämpningen är annars för svarta hål.)

Den främste gurun inom detta mycket speciella område heter Eliezer Yudkowsky. Han har identifierat tre olika skolor beträffande singulariteten:

1. Den tekniska utvecklingen, som ständigt accelererat sedan lång tid tillbaka, kommer att fortsätta accelerera.
2. Världen efter singulariteten kommer att vara helt oförutsägbar, den kan vara fundamentalt olik allt vi kan föreställa oss.
3. Mänskligheten kommer att dra nytta av AI-explosionen och utnyttja den för att förstärka sin egen intelligens.

Den fina RationalWiki gör följande tillägg:

There is also a fourth singularity school which is much more popular than the other three: It's all a load of baloney.

Yudkowsky ägnar, som det verkar, hela sin tillvaro åt att grubbla över AI-katastrofen. Inte om den kommer att inträffa utan när, och vad vi idag kan göra för att lindra dess effekter. Han har grundat forumet LessWrong, där måhända intelligenta eller mycket intelligenta människor för gruvligt sofistikerade diskussioner om den här sortens frågor. Han arbetar med den här sortens frågor tillsammans med ett antal andra på ett ställe som heter Machine Intelligence Research Institute. Han lyckas samla ihop pengar för att bedriva det hela. Han är uppenbart intelligent; det är, som så ofta, inte det som är problemet. Och han får en del uppmärksamhet.

Prof Hawking says the primitive forms of artificial intelligence developed so far have already proved very useful, but he fears the consequences of creating something that can match or surpass humans. 

"It would take off on its own, and re-design itself at an ever increasing rate," he said. 

"Humans, who are limited by slow biological evolution, couldn't compete, and would be superseded."

- Stephen Hawking warns artificial intelligence could end mankind, BBC 2 december 2014

Hört talas om den medeltida skolastiken? Där uppenbart intelligenta eller överintelligenta män förde ändlösa och oändligt invecklade diskussioner om totalt meningslösa icke-frågor? LessWrong och myten om AI-katastrofen är en modern motsvarighet till skolastiken.


RationalWiki: Singularity; Eliezer Yudkowsky

Samt varför inte
Faktoider: Änglarna på nålspetsen om skolastiken