Superintelligence
Om Nick Boström, trans­humanism och existential risks

Niklas Andersson tar upp den svenske filosofen m.m. Nick Boström och hans bok Superintelligence, där Boström tar upp dels den ”existential risk” som artificiell, generell superintelligens utgör för hela mänskligheten om, eller snarare när, ett sådant system blir mer intelligent än människan, och dels hur sådana risker med superintelligens skulle kunna kontrolleras.

Det sägs ibland att Sveriges viktigaste bidrag till filosofihistorien är att ha haft ihjäl Descartes. Så när en svensk filosof börjar generera tidningsrubriker, hamna på topplistor över globala tänkare och sägs ha inspirerat både Elon Musk och Bill Gates, finns anledning lyfta på ögonbrynen.

På Nick Boströms hemsida kan man läsa att han under sina universitetsår sannolikt slog svenskt rekord i både studiemängd och studietakt. Rekord eller inte, men efter tre års studier avlade han kandidatexamen i filosofi, matematik, matematisk logik och artificiell intelligens. Därefter följde mastersstudier i filosofi och fysik vid Stockholms Universitet, samt generell relativitetsteori och beräkningsorienterad neurovetenskap vid King’s College, University of London. Det hela toppades år 2000, när han var 27 år, med en doktorsavhandling i filosofi vid London School of Economics.

Under studietiden kom Boström i kontakt med den växande transhumanismen som inspirerats av tidens rasande teknikutveckling, globaliseringen, visionära genier och science fiction. 1997 grundade han The World Transhumanist Association (idag Humanity+) tillsammans med David Pearce. Under begreppet transhumanism ryms flera intellektuella strömningar. De delar alla en framtidsvision, där människan använder tekniska framsteg för att transformera sin natur, både mentalt och fysiskt, i syfte att befria sig från lidande och för att uppnå ett mer önskvärt och ”posthumant” tillstånd. Boström har varit en av de viktigaste aktörerna i rörelsen. Genom att tillämpa rigorösa filosofiska och vetenskapliga metoder på rörelsens tämligen löst sammansatta tankegods har den kunnat introduceras i respektabla akademiska kretsar. Under senare år har flera av dessa idéer också letat sig ut i massmedia och inspirerat till flera hyllade filmer och TV-serier, som t.ex. Ex Machina och Westworld.

Via transhumanismen kom Boström in på ett forskningsområde där han själv givit namn åt studieobjektet, existential risk, d.v.s. risker som hotar att utradera mänskligheten. Om vår gemensamma framtid, som transhumanismen menar, kan erbjuda snudd på oändliga möjligheter, vad skulle vara värre än att ingen får uppleva den? Och det gäller inte bara oss. Människan (eller framtida posthumana versioner av oss) skulle teoretiskt kunna fortsätta leva i hundratals miljoner år, kanske mer än så om vi koloniserar andra planeter. Det mest effektiva sättet att använda sin tid är därför, argumenterar Boström, att försöka minska den sortens existentiella risker. Med denna ambition startade Boström 2005 The Future of Humanity Institute, ett interdisciplinärt forskningscentrum vid universitetet i Oxford, som han alltjämt driver.

I sin bok Superintelligence utforskar Boström den existential risk han ser med utvecklingen av artificiell intelligens (AI), närmare bestämt av artificiell, generell superintelligens, eller än mer exakt ”any intellect that greatly exceeds the cognitive performance of humans in virtually all domains of interest”. Distinktionen här är viktig, då det redan idag finns många exempel på superintelligent AI inom specifika områden. Många av oss minns när Deep Blue besegrade regerande schackvärldsmästaren Garry Kasparov 1997. Sedan dess har datorerna sprungit ifrån människan ytterligare och de är idag överlägsna mänskliga spelare – i schack. Men trots denna specifika superintelligens klarar samma program inte ens att spela Fia med knuff.

De många framstegen till trots är det ännu många som tvivlar på möjligheterna att skapa generell intelligens på mänsklig nivå. ”Datorer kanske kan lära sig att spela schack, men de kommer aldrig kunna förstå poesi, skapa konst, förstå sig på människor” o.s.v. Lika tvärsäkra utlåtanden fälldes tidigare om t.ex. schackspelande datorer. I själva verket finns det nog inga skäl att tro att vi inte i framtiden skulle kunna programmera en AI som kan göra precis allt det vi människor kan. Boström är dock försiktig i sina spekulationer om när detta skulle kunna ske. Specifika prognoser över hastigheten i teknikutvecklingen är notoriskt opålitliga, och i efterhand framstår de ofta som komiska, särskilt när det handlat om kraftiga underskattningar av utvecklingen. Ett exempel från Boströms egen bok, skriven 2014, är förutsägelsen att det skulle dröja något decennium innan övermänsklig AI kunde spela Go. Mindre än två år senare vann AlphaGo mot en topprankad Go-spelare.

Boström presenterar några opinionsundersökningar som gjorts bland de forskare som arbetar i branschen. Majoriteten av dem håller det för osannolikt att vi inte nått fram till en generell AI på mänsklig nivå före nästa sekelskifte. De flesta tror att det går betydligt fortare. Accepterar man att det är möjligt att programmera generell intelligens, och att vi kan fortsätta att förbättra våra intelligenta system, är det bara en fråga om när vi kommer att nå dit. Och båda dessa förhållanden är svåra att förneka. Vår hjärna är just ett exempel på ett fysiskt system programmerat till generell intelligens. Och med tanke på hur värdefulla intelligenta system är för oss, är det också svårt att se oss sluta försöka förbättra dem.

This is quite possibly the most important and most daunting challenge humanity has ever faced. And – whether we succeed or fail – it is probably the last challenge we will ever face.

Finns det också anledning att oroa sig för denna utveckling? Varför inte välkomna den med öppna armar? För att kunna värdera det måste man först bort från alla överdrivna Hollywoodscenarion. Terminator och Matrix bistår med tacksamma halmdockor för de som inte vill ta Boströms argument på riktigt allvar. Om citatet ovan ens är i närheten av vad som står på spel gör man dock bäst i att undvika denna frestelse. Det andra steget är att inse hur potent intelligens är. Ett sätt att förstå detta är att påminna sig människans särställning i naturen. Det finns många djur som är starkare, snabbare och större än oss. Vår totala dominans kommer från några förhållandevis små och, ur ett evolutionärt perspektiv, sena förändringar av hjärnan som lett till en i jämförelse överlägsen intelligens. Även om gorillor är starkare och större än människor så beror deras öde idag uteslutande på oss människor.

En liknande situation skulle kunna uppstå, men för människan, när en AI blir superintelligent. Centralt här är tanken på en så kallad intelligensexplosion. Med detta menas en hastig ökning av kapaciteten hos systemet till följd av rekursiv självförbättring. Systemet tänks småningom nå mänsklig nivå av generell intelligens och när det sker är det ju per definition lika bra som människor på att kunna programmera något på egen hand, t.ex. AI. Om systemet sedan använder denna förmåga för att förbättra den egna koden på ett sätt som gör det ännu mer intelligent, vilket i sin tur förstås gör det ännu bättre på att programmera är den onda cirkeln igång. Magnituden på detta problem ökar ytterligare av att hårdvaran i dagens datorer arbetar med en hastighet som är flera miljoner gånger snabbare än mänsklig nervvävnad. Tanken har lett till en fruktan för en intelligensexplosion, där systemet kan nå extrema nivåer. Man måste här försöka undgå den antropocentriska fällan, nämligen att tro att vår mänskliga intelligens skulle utgöra ett tak för vad som är möjligt att uppnå. Istället kanske intelligensförhållandet mellan oss och denna nya superdator mer skulle likna den mellan myror och oss? Tillåter man denna analogi att sjunka in förstår man också tydligt den potentiella faran med en sådan situation. Om en superintelligent AI skulle se på oss ungefär som vi ser på myror skulle den helt kunna ignorera konsekvenserna dess beslut får för vår existens.

Detta leder Boström till det han kallar för kontrollproblemet. Hur kan vi kontrollera en superintelligens som är många gånger intelligentare än vi? Det finns flera mer eller mindre naiva svar på denna fråga och Boström går igenom dem noggrant. Ett sätt vore att försöka låsa in den på olika vis: att inte ge den tillgång till internet, att ha en avstängningsknapp nära tillhands, att fysiskt förvara den i oåtkomliga lokaler o.s.v. Men hur säkra kan vi vara på att en superintelligens inte lyckas hitta vägar ut? Om inte annat måste vi ju interagera med den på något vis för att den ska vara användbar, och så fort det finns mänsklig kontakt finns också risken för manipulation.

En annan, filosofiskt intressantare kontrollmetod skulle vara att bygga in en värdegrund i systemet redan från början. Att förse det med mål och värderingar som överensstämmer med våra. Detta låter som ett bra sätt men det räcker med att skrapa på ytan för att se stora problem med detta. För det första har vi idag ingen aning om hur man uttrycker ett värdesystem i ett programmeringsspråk. För det andra har vi ännu mindre koll på hur detta sedan skulle programmeras i praktiken för att ge rätt effekter. Men även om vi skulle lösa de problemen så kvarstår en ännu svårare fråga: vilka värderingar vill vi att superintelligensen skall ha? Är en utilitaristisk etik korrekt? Deontologisk? Pluralistisk? Frågan om den sanna etiska teorin har debatterats i millennier utan tillfredsställande svar.

Detta problem har redan blivit aktuellt, om än i mindre skala, t.ex. under utvecklingen av självkörande bilar. Skall en sådan bil väja för en fotgängare på gatan med påföljd att bilen kraschar och föraren riskerar avlida? Skall den väja för två fotgängare som bryter mot trafiklagarna om priset är att den istället kör över en laglydig fotgängare på trottoaren? Olika personer har ofta olika svar på dessa frågor. Vill vi ha intelligenta system kommer vi inte runt dem, utan måste besvara dem.

Ett annat problem är risken för vad Boström kallar ”perverse realization”. Om vi programmerar ett specifikt mål i datorn men inte utrustar denna med ett ”sunt förnuft” är risken stor att vi begår kung Midas ödesdigra misstag och inte från början förstår alla konsekvenser av våra önskemål innan det är för sent. Och detta är bara tre av de kontrollmetoder Boström diskuterar i sin bok. Tydligt är att de alla är är komplicerade, med stora problem att lösa, och att det ännu återstår mycket arbete.

Även om vi skulle lyckas lösa kontrollproblemet väntar också en helt annan typ av risker med utvecklingen av artificiell superintelligens. Främst diskuterar Boström olika politiska faror. Om inte våra politiska system är väl förberedda för det riskerar utvecklingen av en superintelligent AI att få förödande konsekvenser. Vem skall t .ex. äga denna superintelligens? Vem ska bestämma vad den skall användas till? Hur ska resurserna den producerar fördelas? Kom ihåg att vi pratar om en entitet som kommer att utklassa människor i samtliga vetenskapliga, ekonomiska, tekniska och militära frågor. Risken är uppenbar att de som är i besittning av denna superkraft kommer att tillskansa sig lejonparten av all makt och tillgångar på jorden. Hur motverkar vi t.ex. än mer groteska skillnader i ekonomiska tillgångar i ljuset av detta? Och hur skulle de andra stormakterna reagera om en av deras konkurrenter var nära att nå fram till superintelligent AI? Vore det inte rationellt för dem att ta till nästan vilka medel som helst för att förhindra detta?

Boströms bok är tung. Hans otroligt breda bakgrund gör att man som läsare kastas mellan stort och smått, filosofi och matematik, biologi och sociologi. Det är naturligtvis en styrka, och sannolikt ett måste, om man skall försöka tackla den här typen av frågor, men det riskerar också att avskräcka en del läsare. Ibland skiner de mer fantasifulla och spekulativa delarna av transhumanismen igenom och exemplen kan bli lite väl lika diverse makabra eller utopiska science fiction-scenarion.

Även när denna bakgrund gör sig påmind är det dock svårt att avfärda Boströms rigorösa och utförliga behandling av frågorna. En ärlig läsning av Boström lämnar även uttalade skeptiker med en obehaglig klump i magen.