Maskininlärning

Pedro Domingos (2015) The Master Algorithm

YouTube gör det möjligt att följa uppståndelsen kring generativ AI på ett sätt som vore otänkbart för bara 20 år sedan. Där finns mängder av spännande föredrag, intervjuer och debatter med AI-forskare som diskuterar ChatGPT och har olika uppfattningar om hur intelligent chatten är, vad den kan åstadkomma, vilka risker den innebär och om AI behöver regleras. Jag har bland annat lyssnat på Peter Norvig, Stuart Russell, Rodney Brooks, Yann LeCun och Gary Marcus. På nätet finns också hur mycket som helst att läsa. Jag läser Marc Andreessen om varför AI kommer att rädda världen, Yann LeCuns tankar om vad som krävs för mänsklig intelligens och Peter Norvig om varför Chomsky har fel i sin kritik av maskininlärning.

När IBMs Deep Blue besegrade Garry Kasparov i schack år 1997 och när IBM Watson vann Jeopardy år 2011 väckte det stor uppmärksamhet. När Google DeepMinds AlphaGo vann över Lee Sedol i Go i mars 2016 och när DeepMind sedan visade upp allt mer imponerande system för mönsterigenkänning började alla prata om AI. Putin sade att den som leder AI-utvecklingen kommer att styra världen och i Kina ville kommunistpartiet att man skulle bli bäst i världen på AI år 2030. Ändå kan det som då hände inte jämföras med uppståndelsen som Open AI skapat med ChatGPT. Även om chatten visat sig ”hallucinera” och hitta på, vara tvärsäker när den har uppenbart fel, är dess språkbehandling och upplysande svar på alla möjliga sorts frågor mycket imponerande. Istället för att googla kan vi lika gärna fråga ChatGPT, eller Bard som Googles egen chat heter. Imponerande är också DALL-E, ett annat system utvecklat av Open AI, med förmågan att komponera spännande bilder till korta beskrivningar. Journalister och illustratörer får räkna med konkurrens. I Hollywood har manusförfattare och skådespelare gått ut i strejk av oro över att ersättas med AI. Här hemma har kulturministern tillsatt en AI-grupp för att hålla koll på utvecklingen.

Alla dessa AI-system har blivit möjliga tack vare en fantastisk teknikutveckling. Det var kraftfulla processorer som blixtsnabbt kunde utföra mängder av beräkningar som vann över Kasparov i schack. Deep Blue var ett exempel på den tidigare dominerande inriktningen inom AI-forskningen. Genom programmering fick maskinen de regler och strategier som utmärker en skicklig schackspelare. Det som ibland kallades GOFAI, ”Good Old Fashioned AI”, använde samma metoder som vi använder när vi bygger vanliga datasystem. Programmering ger systemen instruktioner och för komplexa uppgifter behövs många programmerare. ChatGPT och DALL-E vinner i stället sina framgångar med förmågor som de förvärvat genom inlärning. I stället för att ge maskinen specifika uppgifter har man gett maskinen en mer allmän förmåga till inlärning.

Maskininlärning har funnits som ett område inom AI-forskningen ända sedan början på 1950-talet, men det är först på senare år som denna inriktning kommit att dominera. Idén kan tyckas självklar. I stället för att genom programmering ge maskinen instruktioner som den sedan utför, ger man maskinen förmågan till inlärning och tillgång till data som den kan öva på. Om inlärningsförmågan är väl utformad och datamängderna stora kan maskinen lära sig nästan vad som helst. När maskinen genom programmering får instruktioner kan maskinen bara göra det vi talat om för den att göra. Om maskinen kan lära sig själv vet vi inte riktigt vad den kan hitta på. ChatGPT har också överraskat sina skapare på Open AI med vad den lyckats lära sig och ingen vet riktigt vad den kan och hur den gör det den gör. Systemet är så stort, med så många parametrar, att det i praktiken är omöjligt att i detalj veta vad det är som pågår när den lär sig. Detta har också fått många AI-forskare att tro att maskinerna verkligen håller på att bli intelligenta.

Ändå är det, som många andra AI-forskare hävdar, orimligt att dra den slutsatsen av chattens språkliga kompetens. Vi vet rätt väl vad ChatGPT kan göra: kartlägga sannolikheten för att ett ord följer på ett annat och använda detta till att rada ord på varandra, fylla i text, plagiera. Peter Norvig jämför (i slutet av intervjun i länken ovan) ChatGPT med den välklädde trädgårdsarbetaren (spelad av Peter Sellers) i filmen Välkommen Mr. Chance! som får presidenten att tro att han säger djupsinnigheter om ekonomin när han i själva verket bara yttrar plattityder om trädgårdsarbete. Det är en träffande jämförelse.

Maskininlärningens historia är lärorik. Den amerikanska behaviorismen som dominerade psykologin under första hälften av 1900-talet var helt inriktad på inlärning. Pavlovs saliverande hundar, Thorndikes trial and error, Tolmans råttor i labyrinter, Skinners operanta beteende – allt handlade om inlärning. När psykologin på 1960-talet förvandlades till kognitionsvetenskap var det i stället tänkande, beslutsfattande, problemlösning man ville studera och inlärningsteorin åkte ut med behaviorismen. AI-forskningen blev tidigt en del av kognitionsvetenskapen och kom att dela dess svala intresse för inlärning. Den gren av AI-forskningen som främst ägnade sig åt inlärning, studiet av neurala nätverk och mönsterigenkänning, kämpade länge i motvind. Det var egentligen först på 2000-talet som pendeln svängde, de neurala nätverken tog över AI-forskningen och maskininlärning blev helt dominerande.

Vi får en rätt god bild av AI-forskningens utveckling genom att bläddra i de läroböcker som under åren använts på grundutbildningen i USA. På 1980-talet var standardverket Introduction to Artificial Intelligence (1985) av Eugene Charniak och Drew McDermott. (Jag har själv använt den boken i min undervisning.) Sista kapitlet ägnas inlärning och inleds med en kort diskussion av tanken att människor föds med en allmän inlärningsmekanism och sedan lär sig allt de kan med denna mekanism. Om denna tanke säger författarna: ”We believe this idea is dead, killed off by research in AI (and linguistics and other branches of “cognitive science”).” För att kunna lära sig något måste man redan kunna en massa enligt författarna. Det finns ingenting om neurala nätverk i kapitlet om inlärning eller någon annanstans i boken.

Den idag mest använda läroboken är Artificial Intelligence: A Modern Approach (1995), av Stuart Russell och Peter Norvig. Enligt Wikipedia har den använts vid mer än 1500 universitet i 135 länder. Den har kommit i flera upplagor, men redan den första upplagan har flera kapitel om inlärning, inklusive ett kapitel om neurala nätverk med självstyrande bilar som exempel på tillämpning. I senare upplagor, den senaste från 2020, får maskininlärning allt mer plats, men ändå är den senaste upplagan i ljuset av den senaste utvecklingen, enligt Norvig själv, redan omodern.

Man kan lära sig mycket om maskininlärning genom att läsa Russells och Norvigs lärobok, men kanske är den onödigt teknisk. En mer filosofisk och personlig introduktion till maskininlärning är boken The Master Algorithm (2015) av Pedro Domingos. Den kom för några år sedan, men är fortfarande aktuell och är något av det bästa jag läst om AI även om den kanske inte är så lättillgänglig. Det är en liten bok, men desto mer innehållsrik och därför svår att sammanfatta. Men innan jag försöker, låt oss träffa Domingos när han för några år sedan intervjuades av Googles dåvarande vd Eric Schmidt.

Domingos inleder sin bok med att visa hur maskininlärning präglar vår digitala vardag. Överallt finns de, AI-systemen som styr våra bilar, rekommenderar filmer och böcker, analyserar röntgenbilder, övervakar gator och torg, söker information på nätet, väljer annonser, och alla använder de maskininlärning. Genom maskininlärning omvandlas data till kunskap. Domingos drömmer om den universella inlärningsalgoritmen, den som skulle ge all kunskap, den som skulle ge maskinen förmågan att lära sig allt bara den fick tillräckligt med data.

Maskininlärning kan sägas handla om förutsägelser. Om vi kan förutsäga framtiden kan vi kontrollera den. Det är en teknisk kompetens, sådant som ingenjörer ägnar sig åt, men är det verkligen kunskap? Om vi kan räkna ut vad som ska ske innebär det väl inte nödvändigtvis att vi förstår varför det sker? Måste vi inte ha en teori, en mekanism, som förklarar de händelser vi observerar? Är den universella algoritmen denna teori eller är den bara ett instrument som hjälper oss göra sanna förutsägelser?

Domingos diskuterar i två kapitel hur och varför maskininlärningen tagit över AI-forskningen. Med maskininlärning skriver datorerna själva sina program. Maskininlärning är som odling. Vi skapar förutsättningarna och maskinerna gör jobbet. Med maskininlärning kan automatiseringen automatiseras. Allt som behövs är data, ju mer desto bättre. Företagen behöver maskininlärning för att hantera de växande datamängderna. Vetenskapen behöver data som motsvarar komplexiteten hos de fenomen som studeras. Tycho Brahes observationer och Galileis experiment var avgörande för Newtons mekanik. Med maskininlärning kan vi hantera allt större datamängder och vetenskapen hantera allt mer komplexa fenomen, hur generna samverkar, hur proteiner veckas, hur galaxer bildas. Maskininlärning innebär en revolution för vetenskapen.

Med en och samma inlärningsalgoritm kan en maskin utveckla en mängd kompetenser beroende på vilka data vi ger den. Om vi kunde finna den universella inlärningsalgoritmen skulle vi inte behöva göra mer. Med den algoritmen skulle en maskin kunna utveckla all kunskap, uppfinna allt som kan uppfinnas. Domingos diskuterar neurologisk forskning som tycks visa att den mänskliga hjärnbarken bara använder en enda inlärningsalgoritm. Att olika områden av hjärnbarken har olika funktion beror inte på algoritmen utan på de data som kommer dit.  Om vi har förmågor som vi inte har lärt oss måste vi ha fått dem genom evolutionen. Evolutionen använder själv en universell algoritm, det naturliga urvalet. Tack vare att fysikens lagar är så enkla har vi kunnat lära oss dem. Samma lagar återkommer på många områden. Allt vi behöver göra är att ge dem olika data.

Domingos går fort fram och söker stöd för idén om maskininlärning och en universell algoritm från många håll, men det finns också kritiker och särskilt i den länge dominerande grenen av AI-forskningen. Där tror man inte på inlärning utan på programmering som ger maskinerna de regler de behöver för att agera intelligent. Det verkar vara den gamla konflikten mellan rationalism och empirism som vi ser återkomma i ny tappning. Men den avgörande frågan är inte om kunskapen är medfödd eller inte utan om intelligensen är komplex eller enkel. Det som är medfött har utvecklats i evolutionen och kan fångas av en universell algoritm. För Marvin Minsky och Noam Chomsky är människans intelligens komplex och sammansatt av många, olika förmågor. För Domingos utgörs intelligensen av en universell algoritm som genererar all kunskap genom att matas med data. Detta kan ske genom evolutionen och resultera i medfödda idéer eller under individens levnad genom inlärning.

Domingos urskiljer fem inriktningar eller skolor i maskininlärningen och ägnar dem ett kapitel var. Alla de olika skolornas metoder används i dagens AI-forskning. Symbolisterna är den tidigare dominerande AI-inriktningen, det jag ovan kallar GOFAI. De uppfattar tänkandet som symbolbehandling, logisk slutledning eller beräkning. Konnektionisterna är de som nu dominerar AI med sina neurala nätverk och djupinlärning, inspirerade av hur hjärnan med sina nervceller fungerar. Evolutionisterna skriver program som simulerar biologisk utveckling, genetisk programmering. Bayesianerna tror att överväganden om sannolikheter spelar en stor roll i tänkandet och använder sig av statistiska metoder. Analogisterna slutligen, betonar användningen av likheter, analogier, i tänkandet och hämtar inspiration från psykologi och optimeringslära.

Sedan väver Domingos samman de fem skolorna och visar hur de tillsammans kan kombineras till en universell algoritm. Han går igenom hur algoritmen skulle ge en maskin kunskap om världen ungefär som våra barn lär sig och utvecklas. Han rapporterar forskning han själv och hans forskargrupp bedrivit och avslutar med en vision om ett framtida AI-system för diagnos och behandling av cancer. För tio år sedan, avslutar han, var det inte självklart att vi en dag skulle lyckas bota cancer, eller hur det skulle bli möjligt. Med maskininlärning har vi svaret. Vägen är lång, men vi vet hur den ser ut.

I det avslutandet kapitlet lyfter Domingos blicken och spekulerar över en framtid med maskininlärning. När maskinerna lär sig alltmer om oss behöver vi bättre förstå dem och hur de uppfattar oss. De skapar sig en bild av oss baserad på data vi lämnar ifrån oss och vi behöver förstå hur den bilden ser ut för att kunna leva med de intelligenta maskinerna. Ju mer data de får tillgång till desto rättvisare blir deras uppfattning om oss. Data blir en allt viktigare resurs och kanske skulle vi anlita ett företag, ungefär som en bank, för att hantera våra data? Eller kanske kommer det att växa fram dataföreningar, ungefär som gångna tiders fackföreningar, för att föra vår talan i umgänget med de stora techföretagen? Om vi ska kunna dra nytta av AI-tekniken, om vi ska få en teknik som hjälper oss i en allt komplexare värld, måste vi finna förnuftiga sätt att hantera data. Domingos bok kom innan GDPR infördes i EU våren 2016, men det är lätt att inse vad han skulle tycka om en så fyrkantig reglering.

Samtidigt som Domingos höjer maskininlärningen till skyarna har han en mycket nykter syn på de intelligenta maskinerna och deras betydelse. Eftersom de är ingenjörsprodukter har de ingen egen vilja och kommer inte att ta makten över oss. Även om de kan utföra många av de arbetsuppgifter vi har idag förblir de våra verktyg och vi måste bestämma vad de ska göra. Evolutionen började när DNA byggde organismer som fungerade som överlevnadsmaskiner. Det var en utmärkt idé. Vi är sådana överlevnadsmaskiner för DNA och AI kommer att vara det för oss. Det hindrar inte att det finns risker med AI och Domingos oroar sig för kriminell användning, för att vi överskattar och underkastar oss tekniken och för att tekniken ger oss det vi efterfrågar snarare än det vi vill ha.

Pedro Domingos bok The Master Algorithm är en pärla. Det var länge sedan jag läste en så klok, upplysande och rolig bok av en jämförelsevis okänd forskare. Jovisst, man hittar Domingos på nätet och där finns intervjuer och han har vunnit utmärkelser, men ändå har han lyckats hålla sig rätt mycket under radarn. Han har skrivit en bok och i den har han på litet utrymme, med lätt och humoristisk stil, lyckats sammanfatta ett mycket stort stoff. Nu är han emeritus vid universitetet i Washington där han fortsätter sin forskning i maskininlärning. Jag hoppas att han skriver en bok till, om den allra senaste utvecklingen.

Att maskinerna är bättre än vi människor på många områden, bättre på schack, go och alla sorters dataspel, bättre på att känna igen mönster och därigenom bättre på bland annat röntgendiagnostik, behöver inte betyda att de verkligen är intelligenta. Den avgörande frågan verkar vara om ChatGPT, som många hävdar, innebär ett genombrott i försöken att ge maskinerna vad som brukar kallas ”allmän intelligens”. Även om ChatGPT inte själv uppvisar allmän intelligens, säger man, visar chatten att det nu bara är en tidsfråga innan vi verkligen har intelligenta maskiner. Men även om ChatGPT gör bra ifrån sig på Turing-testet, dvs i samtal kan lura oss att tro att den är en människa, behöver det inte betyda att den har allmän intelligens. Det räcker att vi överskattar tekniken och är så godtrogna som många verkar vara. Turings test måste användas med omdöme.

Daniel Dennett diskuterar intelligens och intelligenta maskiner i sista kapitlet av From Bacteria to Bach and Back (2017). Detta är skrivet före ChatGPT och Dennett använder IBM Watson som exempel, men resonemangen är lika relevanta. Dennett har blivit upplyst av Pedro Domingos bok och han erkänner att han kanske underskattat vad som kan åstadkommas med maskininlärning, men han pekar på mänskliga förmågor som verkar svåra att förverkliga med dessa metoder. Människor har intressen som får dem att uppmärksamma, inte bara känna igen olika fenomen och de är kreativa på ett sätt som går utöver kombinerandet av inhämtade data. Han ger också några exempel som han inte tror IBM Watson skulle klara. När jag prövar dem på ChatGPT har den inga problem.

Dennett tror att maskinerna kommer att bli intelligenta, men han tror att det kommer att dröja. Under tiden ser han andra faror med AI och ungefär som Yuval Harari är han rädd att tekniken ska användas av bedragare. Han har nyligen publicerat en kort artikel i The Atlantic där han i mycket starka ordalag varnar för att AI gör det möjligt att skapa ”förfalskade människor”. Han vill se reglering och hårda straff för att motverka den sortens bedrägeri. Han diskuterar frågan i början av den här intervjun. Både Dennett och Harari verkar glömma att allt vi gör på nätet gör vi i de digitala jätteföretagen (inloggade i en webbläsare eller i en app på en digital plattform). De företagen har framgångsrikt löst problemet med skräppost och lär kunna lösa problemet med förfalskade människor också.

Kanske den avgörande frågan inte är om maskinerna är intelligenta eller inte. Kanske den avgörande frågan är, som Dennett hävdar, om maskinerna är våra verktyg eller kolleger. Så länge de är våra verktyg är det bara en fördel om de är intelligenta, men om de är våra kolleger kan vi inte längre behandla dem som verktyg. Om de är våra kolleger måste vi behandla dem med respekt, ta hänsyn till deras behov och önskemål. Vad skulle det kunna innebära?

Jag läser en bok om artificiell intelligens som uppmanar oss att inte uppfatta AI som ett verktyg. Boken heter Scary Smart (2021) och är skriven av Mo Gawdat, tidigare utvecklingschef på Google X, företagets mest innovativa projektkontor. Det är en välskriven och lättläst bok som belönades med utmärkelsen ”A Sunday Times Business Book of the Year”. Ändå är det ingen bra bok, snabbt hopkommen och, kan jag inte låta bli att tycka, barnslig i ton och tilltal. Men den kan illustrera en vanlig, överdriven reaktion. Gawdat vill att vi ska uppfatta de intelligenta maskinerna ungefär som vi uppfattar våra barn. Hur vi behandlar dem kommer att påverka hur de kommer att behandla oss när de växer upp.

Gawdat inleder med att påminna om all den digitala teknik som nu omger oss i vardagen. Det är egentligen otroligt hur snabbt vi vant oss vid den nya tekniken och tar den för given. Gawdat gör några snabba nedslag i AI-utvecklingen och förutsäger en fortsättning i tre steg som han hävdar är oundviklig: AI kommer att utvecklas, AI blir smartare än vi, AI kommer att ställa till elände. Det finns mycket pengar i AI, inte minst i vapenindustrin, och tempot i utvecklingen bara ökar nu när de första genombrotten skett. Inspirerad av Ray Kurzweil tror han att teknikutvecklingen kommer att fortsätta vara exponentiell. AI-forskningen har tagit ett språng tack vare stora datamängder och kraftfulla processorer. Kvantdatorerna kommer att sätta ännu mera fart på utvecklingen och göra maskinerna mycket intelligentare än vi.

Utvecklingen skrämmer Gawdat eftersom vi är så aningslösa när vi utvecklar AI. Maskininlärning innebär att vi inte längre kan kontrollera maskinerna. Vi kan bara påverka dem. De kommer att vara medvetna, ha känslor och moral. Vilken moral de får beror på vilka erfarenheter de får och det beror på hur vi använder dem. Gawdat jämför med hur vi uppfostrar våra barn genom att vara föredömen och varnar för att med dagens användning av AI kommer vi att skapa monster, experter på att sälja, spionera, döda och spela. Det behöver inte bli så, men då måste vi ta oss samman och använda AI till att bygga en bättre värld och på så sätt ge den en god moral.

Gawdat är rädd för AI och det beror på att han har helt fantastiska föreställningar om vad AI är, kan bli och betyda. Människans särställning på jorden beror, enligt Gawdat, på att vi är den mest intelligenta arten. När maskinerna blir intelligentare än vi kommer de att ta makten över oss. Han diskuterar inte hur maskinernas maktövertagande ska gå till och därför inte hur vi bör agera för att undvika att det sker. Men nog borde vi kunna använda samma metoder som vi använt i tidigare teknikutveckling, dvs försäkra oss om att vi behåller kontrollen över detta nya redskap. För att lyckas med det bör vi undvika att som Gawdat förmänskliga tekniken och i stället behandla den just som ett redskap.

ChatGPT har gett oss en AI-hajp som slår alla rekord. Å ena sidan drivs hajpen av techbolag, andra företag, investerare och otaliga startups som ser stora möjligheter med den nya tekniken. Å andra sidan drivs den av forskare utan djupare intresse för hur samhällen fungerar. För några år sedan hade vi en liknande forskarinitierad diskussion om hur automatiseringen med digital teknik på 20 år skulle överta hälften av de jobb människor har idag. Chaufförerna, den största yrkesgruppen i USA, var särskilt hotade. De skulle alla förlora jobben till de självstyrande bilarna. Tio år senare råder det mycket stor brist på chaufförer och de självstyrande bilarna har stora problem.

När den värsta AI-hajpen lagt sig kan vi hoppas på en diskussion om användningen av AI som knyter bättre an till tidigare användning av digital teknik och teknikens sociala sammanhang. Den digitala tekniken blev tidigt en administrativ teknik, ett hjälpmedel för företag och myndigheter att effektivisera redovisning och styrning, men oftare ett medel för deras utvidgning och komplexifiering. Redan den komplexiteten kunde göra det i praktiken omöjligt för den enskilde medborgaren att förstå byråkratiska beslut, nyare lagstiftning eller handeln med värdepapper. Med artificiell intelligens tillkommer ett mått av ogenomtränglighet som kan göra det omöjligt även för experterna att genomskåda systemen och grunden för beslut.

Jag läser en diskussion på detta tema i en kort artikel i The Economist, 21 juni, 2023. Två amerikanska forskare, statsvetaren Henry Farrell och statistikern Cosma Shalizi, hävdar att de stora språkmodellerna i själva verket påminner om de tre system som formar det moderna samhället. I stället för att oroa oss över om de blir intelligentare än vi borde vi diskutera hur de kan tänkas påverka och förändra de systemen: marknaden, demokratin och byråkratin.

ChatGPT har påmint oss om att den tekniska utvecklingen accelererar och redan under det här århundradet kommer att förvandla livet till oigenkännlighet.  Samtidigt handlar den politiska debatten om gängskjutningar och saknar framtidsvisioner. Är det någon idé att fundera över framtiden, över de utmaningar människor kommer att ställas inför och hur de ska klara av dem? Kan vi idag säga någonting alls om utvecklingen de nästa hundra åren? Här gör Pedro Domingos ett försök. Vad ska man säga om det? Skrämmande?

Bo Dahlbom