Kritik av AI-hajpen

Arvind Narayanan & Sayash Kapoor (2024) AI Snake Oil

Det är drygt 2 år sedan ChatGPT släpptes (2022-11-30) och nu börjar böckerna komma med kritiska analyser av den fantastiska AI-hajp som OpenAI lyckades skapa. Jag läser en utmärkt sådan bok med den lite märkliga titeln AI Snake Oil (2024) av två forskare vid Princeton, Arvind Narayanan och Sayash Kapoor. Snake Oil marknadsfördes på 1800-talet i USA (bl. a. av John D. Rockefellers pappa) som ett undermedel men var mest lurendrejeri och författarna menar att likheterna med AI är stora.

Narayanan och Kapoor är noga med att påpeka att de själva med fördel använder AI i sin dagliga verksamhet. Det är inte AI som är måltavlan för deras kritik utan de företag som författarna menar med ojusta medel försöker tjäna pengar på att använda AI i sin marknadsföring. De har skrivit en bok som imponerar med sin detaljrikedom, sansade ton och intelligens även om somliga läsare kommer att reta sig på den företagskritiska tonen. Själv stör den mig inte även om jag till skillnad från författarna tycker att AI-hajpen är stimulerande och att entreprenörerna som driver den gör nytta för mänskligheten. Narayanan och Kapoor skulle vilja se en mer demokratisk utveckling av tekniken, men det är en omöjlig kombination.

Givet att Narayanan och Kapoor säger sig vilja skilja mellan god användning av AI och lurendrejeri hade man kanske väntat sig en klassifikation av olika AI-system eller användningsområden, men det får man inte. Författarna diskuterar egentligen bara tre former av AI: prediktiv, generativ och AI för moderering av innehållet på sociala medier. Det är lite äpplen och päron över en sådan klassifikation. Generativ AI är en teknik och de andra två är tillämpningsområden för olika tekniker, vilket gör att bokens olika delar inte riktigt hänger samman.

Bokens huvudpoäng är kritiken av AI-hajpen och särskilt av hur företag använder sig av hajpen för att marknadsföra undermåliga produkter, det författarna kallar AI Snake Oil. Den kritiken växer ut till en kritik av hur amerikanska techföretag mer allmänt bedriver sin verksamhet på bekostnad av kunder, anställda och gigarbetare i Asien och Afrika. Kritiker av digitaliseringen brukar angripa den övervakning tekniken inbjuder till (Shoshana Zuboff) eller den påverkan de smarta telefonerna och sociala medier haft på en hel ungdomsgeneration (Jonathan Haidt). Narayanan och Kapoor vänder sig snarare mot en överdriven tilltro till teknikens möjligheter att lösa samhällsproblem genom automatisering.

Första tredjedelen av boken handlar om digitala system som gör prognoser och Narayanan och Kapoor är mycket kritiska till företag som säljer dessa system och till hur de används av det amerikanska rättssystemet, sjukvården, universitet, personalavdelningar, försäkringsbolag, etc. Även om många av dessa system använder statistik snarare än maskininlärning marknadsförs de som AI-system och organisationer köper dem för att kunna automatisera sitt beslutsfattande. När du söker ett jobb, eller ett bidrag, när rättssystemet avgör om du ska få villkorlig frigivning låter man sådana system fatta beslutet. Författarna är skeptiska till sådan automatisering av beslut och hänvisar till hur illa det kan gå när piloter litar för mycket på autopiloten, men det är ett tveeggat exempel. Många flygolyckor beror på att piloterna inte litat på autopiloten utan ingriper när de borde ha låtit det automatiska systemet sköta styrningen av planet.

Narayanan och Kapoor har mycket intressant att säga om svårigheterna att förutsäga framtiden och deras kritik av AI-system som lovar sådana förutsägelser är mycket träffande. Många AI-system som gör prognoser antar att människor som liknar varandra kommer att agera på samma sätt i framtiden. Författarna ger många exempel på undermåliga sådana system. De tror att vi använder dem för att vi inte vill tro att världen är oförutsägbar, men rimligare är väl att vi gör så gott vi kan för att förutsäga världen och att vi ofta underskattar hur komplex den är. Vetenskapen tror att världen är förutsägbar (med undantag för på kvantnivån) och AI-system som hanterar större och större datamängder borde bli allt bättre på förutsäga framtiden. I november 2023 beskrev DeepMind i Science sitt AI-system GraphCast för väderprognoser som sägs vara överlägset traditionella prognoser i 90% av fallen just för att det baserar sina prognoser på enorma mängder data.

Narayanan och Kapoor betonar att AI inte är en teknik utan många och de ger också en kort historisk introduktion till AI-forskningen med betoning på den gren som stått för genombrottet och den pågående hajpen. Allt började med en liten artikel av Warren McCulloch och Walter Pitts 1943 om logiken för nervceller, utvecklades vidare på 1950-talet av Frank Rosenblatt i hans perceptron, levde länge i skymundan av den mer logikinspirerade huvudfåran i AI-forskningen, men fick en renässans i början av 2000-talet, och har just resulterat i nobelpris både i fysik (Geoffrey Hinton och John Hopfield) och kemi (Demis Hassabis, John Jumper och David Baker).

En avgörande händelse i AI-utvecklingen var när Geoffrey Hinton med två doktorander (Alex Krizhevsky och Ilya Sutskever) år 2012 med systemet AlexNet för bildigenkänning vann tävlingen ImageNet. Nu satsade alla AI-forskare på maskinlärning med stora datamängder, vilket krävde mycket processorkraft. Samma algoritm, med små variationer, kunde användas och data gjorde skillnaden. Data hämtades på webben och klassificerades av billiga gigarbetare i Afrika och Asien. När AI lärde sig känna igen bilder kunde den också känna igen ansikten. Clearview är ett känt företag som säljer ansiktsigenkänning och i många länder diskuteras nu polisens användning av den här sortens system.

2000-talets AI-utveckling med djupinlärning började med bilder men snart började man använda idéerna också på text och utvecklade generativa modeller. År 2017 gjorde Google ett genombrott i arbetet med stora, generativa språkmodeller när man uppfann transformer-arkitekturen. Några år senare skulle OpenAI slå världen med häpnad med sin ChatGPT. Systemets grundidé är enkel. Som svar på en fråga (prompt) genereras ord vilka följer på varandra baserat på sannolikheter som systemet inhämtat från träningsdata. Hemligheten ligger i algoritmen och i mängden operationer som utförs på data. För att generera ett tecken (del av ett ord) behöver ChatGPT utföra biljoner (!) beräkningar.

Författarna beskriver i stora drag hur de stora språkmodellerna fungerar efter förträning och finjustering och de diskuterar vilken förståelse det är rimligt att tillskriva dem. Vad modellerna vet om världen har de hämtat på webben och där finns mycket kunskap, som i Wikipedia, men också mycket skräp och konstigheter. Man kan säga att modellen genom förträning får en ”demokratisk” världsbild, ungefär som sociala medier är demokratiska debattfora. Om vi vill ha expertutlåtanden snarare än demokrati måste vi finjustera modellen. Dagens modeller lär sig språket på webben men hämtar sin kunskap från ett urval legitima källor.

Narayanan och Kapoor är positiva till generativ AI, men de diskuterar mest negativa sidor som diskriminering, copyright-stölder, deepfakes och beroendet av billig arbetskraft för arbetet med finjustering av modellerna. De ägnar ett helt kapitel åt att kritisera de överdrivna farhågorna för en superintelligens som tar makten över oss människor. Även om de är imponerade av framstegen med generativ AI menar de att det är långt kvar innan maskinerna blir intelligenta som vi. När de ser tillbaka på utvecklingen finner de att framsteg alltid har visat på oförutsedda svårigheter och det är väl en god allmän beskrivning av hur vetenskap och teknik utvecklas. Många som idag är skeptiska till AI-hajpens överdrifter menar att maskinerna inte kan bli intelligenta så länge de är begränsade till att lära av webben. För att bli intelligenta som vi måste de kunna interagera med och lära av omgivningen, såväl den fysiska som den sociala.

De diskuterar Boströms argument att om vi utvecklar en AI så kommer den i sin tur utveckla en superintelligens som tar makten över oss. Skillnaden mellan Einsteins intelligens och en treårings är försumbar jämfört med skillnaden mellan en superintelligens och oss. Men det är inte intelligensen som ger människor makt utan tekniken. När vi var apor hade vi inte särskilt mycket makt. Trump har makt för att han leder den amerikanska staten. Vi behöver oroa oss för vad människor kan göra med AI snarare än för vad AI kan göra mot oss. AI kan inte ta makten över oss så länge den bara har tillgång till webben.

De har också en intressant diskussion av sociala medier. När den amerikanska kongressen år 2018 frågade Mark Zuckerberg hur Facebook skulle bli bättre på att rensa bort anstötligt innehåll var svaret: AI. Men kan AI verkligen lösa problemet med sociala medier? Om det finns tydliga regler för hur innehållet ska behandlas kan naturligtvis AI göra jobbet bättre och billigare än människor. Problemet är reglerna, inte AI. Företagen vill tjäna pengar och har därför algoritmer som väljer att visa provokativt innehåll som får dig att stanna kvar. Det innehållet vill företagen av förklarliga skäl inte rensa bort. Sociala medier började som en mötesplats för vänner att hålla kontakt men har blivit något helt annat.

AI-hajpen finns för att företag (och journalister, forskare, kolumnister) tjänar pengar på den. De kritiserar Gartners kända hajp-kurva för att den inte säger något om alla tekniker som aldrig blev något och för att den inte tar hänsyn till att AI är många tekniker med helt olika utvecklingspotential. AI har en lång historia med många upp- och nedgångar (AI-vintrar) som inte stämmer med kurvan. Media bidrar till hajpen genom att återge företagens marknadsföring snarare än att kritiskt granska den. Kändisar bidrar genom att skriva böcker som överdriver både möjligheter och risker med artificiell intelligens. Narayanan och Kapoor väljer en bok av Henry Kissinger m. fl. och är inte nådiga i sin kritik. I min kommentar till boken kritiserade jag visserligen författarnas tendens att mystifiera AI, men Narayanans och Kapoors sågning är överdriven. Den är i sin tur ingenting mot den behandling som två mycket namnkunniga forskare, Meredith Whittaker och Lucy Suchman, utsätter boken för i det polariserade amerikanska samhället.

Författarna jämför AI-forskningen med hur läkemedelsföretag utvecklar nya mediciner med stöd av akademisk grundforskning. Utvecklingen av AI-teknik handlar däremot bara om att tjäna pengar och grundforskningen släpar efter. Företagen tävlar om att bygga system med allmän intelligens, men lägger mindre tid på att förstå hur tekniken fungerar. Jag kan tycka att den här beskrivningen är överdrivet negativ. AI används allt mer i forskning, inte minst vid företag som DeepMind, och förra året nobelpris i kemi gick till mycket spännande forskning med hjälp av AI. Det hindrar inte att AI-forskningen är full av brister. Allt för ofta testar man ett AI-systems prestanda på samma data som systemet tränats på och forskningsresultat verifieras sällan med upprepade studier. Men det beror väl mest på det höga tempot och det behöver man kanske inte beklaga?

I ett sista kapitel stakar författarna ut framtiden. De tror att AI kommer att bli som Internet, en infrastruktur för kunskapsarbete och beklagar det faktum att denna infrastruktur kommer att ägas av privata företag när den borde vara en del av den offentliga infrastrukturen. Företagen vill tjäna pengar och de kommer att styra AI-utvecklingen på ett sätt som gynnar dem själva snarare än oss medborgare. Den utveckling vi redan ser i USA där AI i stor utsträckning används av offentliga institutioner till att lösa icke-problem, i skolor till att avslöja elever som fuskar med hjälp av AI och i kommuner till att avslöja kriminalitet. Författarna diskuterar också de olika former för reglering som är möjliga, jämför USA med EU och Kina, och varnar för en reglering som gynnar de digitala jättarnas monopol på bekostnad av innovation och utveckling.

AI kommer att påverka arbetslivet, men Narayanan och Kapoor menar att det kommer att ta tid. Anställda behöver lära sig de nya verktygen, organisationer behöver ställa om, och allt sådant tar tid. Men på längre sikt kan AI mycket väl leda till stora förändringar, och särskilt kommer kapitalets makt att förstärkas på de anställdas bekostnad. Kanske medborgarlön kan vara en lösning på problemet. Det är viktigt för de anställda att organisera sig och försvara sina rättigheter, men det har alltid varit sant och förändras inte med AI. Det är viktigt också att vi alla deltar i utvecklingen och användningen av AI och inte bara godtar techföretagens alla försök att med hajpad marknadsföring tjäna så mycket pengar som möjligt.

Bo Dahlbom