Blir AI vår undergång?
Yuval Noah Harari (2024) Nexus
Tekniken har blivit så kraftfull att den i orätta händer kan förgöra stora delar av mänskligheten. Jag läser en ny bok av Yuval Noah Harari, Nexus (2024), som frågar varför människan är så destruktiv. Varför utvecklar vi teknik som riskerar att bli vår undergång? Vi har mycket mer information och makt än vi hade på stenåldern, men det verkar inte som vi begriper vilka vi är och vilken roll vi har i universum bättre än vi gjorde då. De antika myterna skyller på enskilda människors övermod när det går illa, men det är genom samarbete som vi fått makten att förgöra oss. Nu utvecklas artificiell intelligens och somliga tror att AI kommer att lösa alla våra problem. Harari varnar för att AI riskerar att göra mänskliga konflikter värre eller i värsta fall ta makten över oss människor.
Med sina böcker vill Harari göra oss uppmärksamma på en utveckling som håller på att spåra ur så att vi alla kan medverka till en bättre framtid. Men han ger själv många exempel på hur mäktiga institutioner leder oss vilse och formar framtiden. Kanske vänder han sig i första hand till världens makthavare, politiker och företagsledare, och ber dem ta sitt förnuft till fånga. Kanske de kan påverka institutionerna, men vad kan vi andra göra åt framtiden? Inte mycket, men vi kan åtminstone intressera oss för den och det kan vi med fördel göra genom att läsa och lyssna på Harari.
Harari slog igenom med boken Sapiens (2014) och blev snabbt en stjärna i den internationella offentligheten. Boken gjorde stort intryck även på mig och jag har följt Harari sedan dess. Boken förstärkte min upplevelse av den fantastiska resa som mänskligheten inledde när hon lämnade Afrika. Vart är vi på väg? Hur långt är det kvar? Vad kommer framtiden att erbjuda? Harari har en dyster syn på framtiden, men jag blev bara mer entusiastisk för mänsklighetens kunskapsprojekt genom läsningen av Sapiens.
Jag läser också den nya boken med mycket stor behållning, även om den är lång och svår att sammanfatta. Harari är en gudabenådad berättare och har skrivit ännu en fantastisk bok. Jag hoppas att det blir många fler – även om jag tycker att den här boken har brister särskilt när det gäller de grundläggande begreppen. Nexus är en bok om information, informationsnätverk och informationsteknik. Harari gör inga försök att definiera dessa begrepp och vad han menar med informationsnätverk blir inte särskilt tydligt även om boken är fylld av exempel och illustrationer. Kanske vill han bara säga att sådana nätverk föreligger när människor utbyter information med varandra under ordnade former.
Harari ger många exempel på informationsnätverk: den katolska kyrkan, Sovjetunionen, vetenskapen, internet. Nätverken utvecklas med informationsteknik, med berättelser, skriftspråk, boktryckarkonsten, datorerna. Med berättelser, inte minst de religiösa berättelserna, kan människor förenas. Med skriftspråket kan de forma stater och börja beskatta medborgarna. Med dokumenten kan staterna bli totalitära och övervaka och förtrycka sina medborgare. Med datorerna riskerar människor att förlora kontrollen över nätverken.
Det finns en naiv uppfattning om information, hävdar Harari, och det är att mer information alltid är bättre, att mer information ger oss sanningen. I själva verket används information först och främst till att skapa fiktioner och till att utöva makt och skapa ordning, säger han. Det är med information som med teknik i allmänhet: den kan användas för såväl goda som onda syften. Harari ger många exempel på när information i det förflutna använts till förtryck och han verkar inte tro att framtiden blir annorlunda i detta avseende.
Boken består av tre delar där den första handlar om de nätverk människor bygger, den andra om datortekniken och särskilt artificiell intelligens och den tredje om hur datortekniken förvandlar politiken. I den första delen beskriver Harari hur människor med hjälp av informationsteknik formar samhällen. Det gäller i synnerhet den första informationstekniken, berättelserna, som människor sedan urminnes tider har berättat för varandra. Det viktiga har inte varit om de är sanna eller inte, utan om de förmått fånga människors fantasi, om de gett spänning, tröst eller gjort tillvaron mer begriplig. Berättelserna har ofta varit religiösa, men behöver inte vara det, och Harari ger den amerikanska konstitutionen som exempel. Den är skapad av människor, inte av Gud, och det vet amerikaner säger Harari. Men jag undrar. Många amerikaner verkar läsa konstitutionen bokstavstroget, som man läser en helig bok.
Personliga relationer kan vi bara ha med några hundra individer, men berättelserna binder oss samman i mycket större samhällen. Berättelserna skapar fiktiva verkligheter, sociala konstruktioner, som definierar världen för människor i en kultur, ger dem en världsbild. Nationen, pengarna, institutioner, karriärer, religiösa förbud och högtider – allt ingår i denna fiktiva verklighet. Berättelserna motiverar människor och kan få dem att bete sig oförnuftigt. Historiens misstag har ofta sin grund i berättelser. Berättelserna är enklare än sanningen och de kan utformas så att de smickrar oss, får oss att känna oss utvalda. Berättelserna får en särskild tyngd när de ges absolut karaktär, som i religionernas heliga skrifter. Harari är en mästare på att beskriva hur oförnuftiga människor kan vara när de försvarar sin kultur och dess ofta motsägelsefulla fiktioner.
Skriftspråket, den andra stora informationstekniken, ger oss dokument och med dokumenten bygger vi byråkratier och skapar ordning genom lagar, avtal, regler och kategorier. Harari för ett roligt resonemang om byråkratiernas för- och nackdelar. Vi kan inte klara oss utan byråkratierna, är slutsatsen, samtidigt som vi riskerar att likt Kafka fastna i dem. Den tredje informationstekniken är boktryckarkonsten och Harari menar att den visserligen bidrog till den vetenskapliga revolutionen men framför allt gav upphov till en förfärlig massa skräplitteratur med fake news och konspirationsteorier. Boktryckarkonsten var väsentlig för häxprocesserna på 1600-talet, säger Harari, men nog hade vi haft häxor även om det inte hade funnits böcker, eller?
Harari är imponerad av vetenskapens förmåga att erkänna sina fel, att ändra uppfattning, att söka sanningen. Vetenskapens institutioner är villiga att erkänna sitt institutionella ansvar och detta bidrar till vetenskapens snabba utveckling, säger han. Men sanningen kan vara obekväm och komma i konflikt med ordningen och därför behöver, som Karl Popper hävdade, vetenskapen stöd av ett öppet, liberalt samhälle med fria medier, fri debatt och sanningssökande även om naturligtvis vetenskapen bidrar till ett sådant samhälle.
Diktaturer är centraliserade informationsnätverk där informationen flödar till ett ofelbart centrum som fattar alla viktiga beslut. Demokratier är distribuerade informationsnätverk med väl fungerade mekanismer för att rätta sådant som blivit fel. Demokratier innebär inte att den valda majoriteten bestämmer utan att människor har fri- och rättigheter. Moderna massmedia möjliggör stora demokratier, med många informerade medborgare, men också stora diktaturer. Harari för en lång diskussion om demokratins villkor och eländet i Sovjetunionen under Stalins diktatur.
Den andra delen handlar om hur informationsnätverken med datorerna får nya medlemmar. Harari beskriver hur algoritmerna i Facebook bidrog till att underblåsa hatet mot Rohingyafolket i Myanmar, men han menar dessutom att tekniken spelade en aktiv roll i dessa förföljelser. Till skillnad från tidigare teknik där initiativen alltid tagits av människor har AI egna mål, tar egna initiativ och bidrar därigenom aktivt till vad som sker. Än så länge är maskinernas bidrag marginella, men med tiden kan de mycket väl växa, och i förlängningen kan maskinerna ta makten över oss människor. I framtidens informationsnätverk där AI dominerar riskerar människor att förlora sin kultur, sin identitet, makten över informationen.
Resonemanget bygger på att vi med AI skapat en aktör jämförbar med oss själva. Tidigare teknik har varit verktyg som krävt mänskliga användare eller maskiner som människor startat, styrt och stängt av. AI är i stället en aktör, med avsikter, mål och ambitioner som i bästa fall sammanfaller med våra, men i sämsta fall går stick i stäv med mänskliga strävanden och önskemål. Men den AI som är under utveckling av företag som OpenAI, Google och Meta är inte en sådan aktör. Det är orimligt att beskriva de algoritmer som Facebook använder på det sättet. ChatGPT och de andra verktyg som är under utveckling är just verktyg och ingenting annat. Även om verktygen håller på att bli agenter, aktiva på egen hand, utan att vi behövt ställa någon fråga eller ge dem någon prompt, är de lika lite aktörer som en termostatstyrd värmepump.
Men kanske AI-systemen kommer att bli aktörer och ta makten över oss i framtiden? Harari är ju inte ensam om att oroa sig för detta. Många av de ledande AI-utvecklarna delar hans oro. Nobelpristagaren Geoffrey Hinton tror att AI kommer att få medvetande. Yoshua Bengio fyller sin hemsida med artiklar om riskerna. Mustafa Suleyman, en av grundarna av DeepMind och nu AI-chef på Microsoft, beskriver AI som ”en ny digital art” och Hararis bok som ”masterful and provocative”. Det är svårt att värja sig för misstanken att de överdriver och att oron kommer att gå över när tekniken utvecklas och vi vant oss vid den. Ny teknik brukar hetsa upp människor och även om de här forskarna är väl insatta i tekniken är de knappast experter på människor, samhällen, arbetsmarknad eller vad som krävs för att tekniken ska ta makten över oss människor.
Harari ägnar ett helt kapitel åt den övervakning som digitaliseringen med AI gör möjlig. Det finns idag, säger han, 1 miljard övervakningskameror i världen. Han beskriver hur övervakningen kan användas för goda syften men också av totalitära stater för förtryck av medborgarna och han berättar om det kinesiska systemet som värderar hur vi uppför oss. Övervakning bedrevs förr framför allt genom att människor övervakade varandra. Med artificiell intelligens kan övervakningen ske mer effektivt och i större skala. Harari ger många exempel på hur övervakning bedrivs idag, men säger ingenting om vad som kommer att ske i framtiden. Det rimliga är väl att tro att övervakningen bara kommer att öka på alla områden. Vi kommer att ändra uppfattning om vad som är privat och kommer att inse att bli övervakad inte behöver vara negativt. Allt beror på varför vi övervakas och av vem, med vilka syften.
Med informationstekniker som berättelser, skriftspråken och boktryckarkonsten har människor skapat informationsnätverk som legat till grund för samhällsbildningar. Med datorerna håller vi på att skapa nätverk där datorerna själva spelar en roll liknande den som byråkratierna hade i tidigare samhällen. Ju mer beroende vi blir av datorerna desto större blir deras inflytande och ju mer komplexa nätverken av datorer blir desto svårare blir det för oss att förstå dem. Maskinlärning på enorma datamängder gör besluten ogenomträngliga och demokratin slutar fungera när besluten inte kan kontrolleras. Datorerna har redan gjort våra byråkratier mer komplexa och svårförståeliga, det är sant, och med AI kan vi räkna med att det blir värre. Demokratin kräver tack och lov inte att vi ska förstå alla samhällsfenomen. Det gör väl ingen.
I den tredje delen syr Harari ihop säcken. Hur ska vi egentligen se på teknikutvecklingen? frågar han. Är den positiv eller negativ? Inledningsvis var den industriella revolutionen mest negativ, konstaterar Harari. Arbetarna i de första fabrikerna fick eländiga liv. Industrialiseringen drev på kolonialiseringen och spred förtryck och elände i Afrika och Asien. Nazismen och kommunismen var försök att utforma industrisamhället som av många omfattades med stor entusiasm. Den industriella revolutionen ledde så småningom till allmänt välstånd, men kanske var priset för högt? Nu skrämmer oss dessutom den globala uppvärmningen och vi ser den biologiska mångfalden hotas.
Om människor fick offra så mycket för industrialiseringen hur kommer de att klara av digitaliseringen? Är de falska nyheterna, trollen på nätet och ängsliga tonåringar bara början? Eller är framtiden så ljus som Ray Kurzweil och Marc Andreessen beskriver den? På 1900-talet lärde vi oss uppskatta demokratin, men kommer den att överleva digitaliseringen, när övervakningen breder ut sig? Harari har mycket intressant att säga om demokratin och han tror inte att den är dömd att gå under i populism och övervakningsdiktatur. Men det kräver av oss medborgare att vi försvarar demokratiska principer och Harari nämner fyra sådana principer: välvilja, decentralisering, ömsesidighet och liberalism.
När tekniken används till övervakning i en demokrati är det av välvilja till medborgarna. I en demokrati försöker vi decentralisera makten även om samhället blir mindre effektivt på det sättet. Om vi övervakas av polisen eller av företag vill vi ömsesidigt kunna övervaka polisen och företagen. I en demokrati är medborgarna fria att välja sina liv, givet att de respekterar andras frihet, och inte tvingade av staten att leva på ett särskilt sätt. Detta är goda principer men även om vi respekterar dem kommer teknikutvecklingen att utmana oss.
Artificiell intelligens tar jobben ifrån oss, säger Harari, men naturligtvis kommer det nya jobb, även om det är svårt att veta vilka. Men hur möter våra samhällen de utmaningar som kraven på omställning ställer, den turbulens som skapas av en arbetsmarknad i dynamisk förvandling? När människor förlorade jobben i 1930-talets Tyskland frodades populismen och Hitler kom till makten. Kommer vi att klara turbulensen från AI bättre än man gjorde då? Turbulensen har redan lett till att konservativa partier kollapsat och tagits över av radikala populister som Donald Trump. Idag är det snarare Demokraterna som i USA försvarar det bestående. Men till skillnad från de bräckliga demokratierna vid 1900-talets början är dagens demokratier antagligen robusta nog för att överleva. Eftersom demokratin är den mest flexibla bland styrelseformer vore det också vansinne att överge den för en eller annan autokrati när vi verkligen behöver vara flexibla.
Harari har under de sista åren med stor kraft varnat för artificiell intelligens i intervjuer och debatter på nätet: AI kommer att ta makten över oss människor, ta över vår kultur, ta jobben ifrån oss, göra människor överflödiga. Boken Nexus är inte lika alarmistisk. Här beskrivs snarare artificiell intelligens som en utmaning som vi måste möta, göra det bästa av. Med artificiell intelligens kan vi få en bättre hälsovård och utbildning, men vi riskerar att hamna i en övervakningsdiktatur, förlora oss i en värld av falska nyheter eller förslavas av en högre intelligens. Men allt detta kan vi undvika genom reglering. Det blir inte enkelt, och det finns många svårigheter eftersom mänskligheten är så splittrad, men uppgiften är inte omöjlig menar Harari.
Harari inser att han ger oss en mycket dyster bild av digitaliseringen och artificiell intelligens. På några ställen påpekar han att det naturligtvis finns goda saker att säga om tekniken, men det görs av alla de som säljer den, de stora företagen och deras företrädare. Harari ser som sin uppgift som fristående tänkare att i stället varna för teknikens baksidor. Det är gott och väl, men vore det inte bättre om han försökte ge en nyanserad bild? Genom att skriva en hel bok som varnar för tekniken gör han det inte lättare för oss att med förnuftig hand reglera tekniken.
Nu rustar världen och utvecklar autonoma vapensystem. Artificiell intelligens styr redan drönarna i kriget i Ukraina. Kina och Ryssland ifrågasätter den amerikanska världsordningen och vi verkar vara på väg in i ett världskrig. Trump är nyvald president i USA och menar att global uppvärmning är ett påhitt. Här hemma vill vi vara beredda om kriget kommer. Vi bär oss åt som barn i en sandlåda samtidigt som vi utvecklar alltmer avancerad teknik. Världens ledare verkar vara helt inställda på att upprepa misstagen från 1900-talet och med öppna ögon leda sina fårskockar in i ett tredje världskrig. Borde vi inte kunna begära av våra ledare att de snarare höll oss utanför krig och konflikter än spelade med i detta primitiva spel?
Harari hävdar att vi inte vet mer idag än vi visste på stenåldern om vilka vi är och vilken vår roll i universum är, men det är inte sant. Vetenskapen, inte minst Darwin, har gett oss en förståelse av universum och oss själva som går långt utöver vad människan på stenåldern kunde föreställa sig. Just därför framstår de pågående förberedelserna för krig särskilt oförnuftiga. Men att den närmaste framtiden ser mörk ut innebär inte att vi ska förlora hoppet om mänskligheten. Demokratier går aldrig i krig med varandra brukar man säga, men nog kan man tycka att dagens västerländska demokratier borde kunna hantera hotet från Kina och Ryssland bättre än de gör.
I prologen frågar Harari varför människan är så självdestruktiv och i epilogen svarar han att det beror på informationsnätverken. Informationen ger oss makt och trots att vi inser att makten kan leda till vår undergång envisas vi med att utveckla nätverken. Just nu utvecklas artificiell intelligens i rasande takt trots alla varningar att det kan leda till mänsklighetens undergång. Men är det verkligen sant att människan är självdestruktiv? Kanske förhastar hon sig, är inte tillräckligt eftertänksam, men de flesta människor strävar väl efter att göra gott för sina närmaste, för sin grupp? Ibland går detta ut över människor som inte tillhör gruppen men utvecklingen går väl mot att allt fler uppfattar hela mänskligheten som sin grupp. Det behöver inte innebära att alla kulturskillnader suddas ut, men det innebär ett bättre internationellt samarbete.
Det internationella samarbetet utvecklas när mänskligheten får gemensamma problem, som vi fått av den globala uppvärmningen och som vi fick i pandemin. Globaliseringen har flera aspekter, inte bara framväxten av en global marknad, men även den har stor betydelse för utvecklingen. Även om det ser mörkt ut nu och Harari varnar för en ”kiselridå” mellan öst och väst är det möjligt att se med optimism på framtiden. Han har rätt i att den digitala utvecklingen just nu sker i USA och Kina och att avstånden mellan de två bara växer. Men snart tar det fart i Indien och vem vet vad som då händer. Just nu är tidsandan övermåttan mörk, men det kommer att bli ljusare igen, även om vi i Europa måste vänja oss vid att inte längre vara världens centrum.
En sammanfattning av boken Nexus kunde låta så här: Med hjälp av informationsteknik som berättelser, skriftspråk, boktryckarkonst och datorer, bildar människor informationsnätverk som ger dem förmågor att söka sanningen och skapa ordning som går långt utöver vad de som individer kan åstadkomma. De använder denna förmåga till att bilda samhällen som ibland blir demokratier, ibland diktaturer, där informationstekniken kan användas till samarbete, men också till förtryck. Boken ger nedslag i mänsklighetens historia och ger exempel på informationsnätverk. Nu har människor utvecklat en ny informationsteknik, datorerna med artificiell intelligens, som hotar att ta över våra informationsnätverk och leda till skrämmande förtryck och kanske mänsklighetens undergång. Boken är lång med många utvikningar, argumentationen oklar och tråden ofta svår att följa.
En sammanfattning som denna gör inte Harari rättvisa. Som ingen annan har han en förmåga att med några penseldrag och spetsiga formuleringar göra sina poänger. Även om han inte alltid verkar driva någon tydlig tes är läsningen alltid en njutning. Med några enkla begrepp gör han samhällsfenomen begripliga och påminner oss om sådant vi kanske visste men inte såg lika klart som han. Jag kan tycka att han slår in öppna dörrar när han gör en stor poäng av att religioner och ideologier är sociala konstruktioner men hans exempel är alltid underhållande. Nexus är en bok om artificiell intelligens, även om Harari gör många utvikningar på vägen, och om AI har han till slut en rätt sansad uppfattning. Med reglering kan vi tämja den. Harari är en dysterkvist som gärna målar fan på väggen, men jag ser trots allt framtiden an med nyfikenhet och spänning. Vilken fantastisk resa vi är med om, vilket äventyr!
Bo Dahlbom