Bättre genom mätning

Det är svårt att bli bättre utan att mäta, antingen med instrument eller mot andra. Idrotten är kanske det område där mätning tillämpas mest helhjärtat. På många andra områden är det inte så noga. Ibland ursäktar vi oss med att det som är viktigt inte kan mätas, ibland med att mätningen skapar stress och konkurrens. Men finns det något vi gör som vi inte vill bli bättre på? Och hur skulle vi kunna bli bättre utan att mäta?

Kanske är detta en modern attityd, denna önskan om framsteg. Kanske man i mer traditionella samhällen gjorde som man en gång lärt sig utan att fundera på möjliga förbättringar av rädsla för att göra fel. Kanske traditionella verksamheter, sådant vi vant oss att göra på ett visst sätt, behåller sin traditionella karaktär. En professionell hantverkare kan känna sig ifrågasatt om vi kommer och vill mäta.

Jag har träffat människor som kan läsa böcker på några minuter. De tar in all text på en sida med en enda blick. Det verkar väldigt praktiskt. Jag har bläddrat i böcker som lär ut snabbläsning men aldrig kommit mig för. Det går att öva upp sin förmåga att minnas. Det finns några enkla tricks man lär sig och sen använder. Varför vill vi inte öva upp dessa förmågor som är så viktiga för oss?

Vi gör ständigt förutsägelser av alla möjliga slag. Många är en del av vardagen och görs utan att vi särskilt tänker på dem. Vi skulle inte kunna leva utan dessa förutsägelser som ofta handlar om att världen ska förbli sig lik i viktiga avseenden. När vi spelar gör vi i stället förutsägelser om enstaka händelser, om de ska inträffa eller inte, eller vilket utfallet ska bli. I många spel är det bara slumpen som styr, men om vi spelar på hästar eller börsen finns det experter som gärna delar med sig av sina råd. I media finns gott om experter som försöker förutsäga den politiska och ekonomiska utvecklingen. Hur bra är egentligen dessa experter och vad använder de för metoder?

Jag läser en bok som svarar på den frågan av statsvetaren och psykologen Philip Tetlock, Superforecasting: The Art and Science of Prediction (2015), och det är en mycket bra bok, rappt och roligt skriven. Att den är så välskriven är kanske medförfattaren Dan Gardners förtjänst, men att få vistas några timmar i Tetlocks sällskap är en ynnest, både lärorikt och lustfyllt. Tetlock presenterar sin forskning, naturligtvis, och skriver klokt och initierat om förutsägelser, men han gör det med mängder av spännande anekdoter och exempel som gör denna bok till en riktig läsfest.

Tetlock blev känd i USA genom att i en stor undersökning (som tog 20 år) visa att de experter som gör politiska och ekonomiska förutsägelser i media inte är duktigare än pilkastande schimpanser, men hans budskap i den här boken är viktigare. Det går att utveckla kompetens att förutsäga framtiden och för att undersöka detta har Tetlock med medarbetare under fem år (2011-2015) bedrivit ett mycket omfattande experiment med frivilliga amatörer som fick tävla mot experter på att göra förutsägelser. Amatörerna visade sig vara överlägsna och Tetlock ägnar större delen av boken åt att förklara varför.

Tetlock börjar med några exempel från medicinen. Läkekonsten var länge ett hantverk. Vetenskapliga metoder introducerades först i början av 1900-talet. Detta avspeglas i dagens patientlag där det talas om ”vetenskap och beprövad erfarenhet”. Man kan undra över hur länge det ska dröja innan läkarkåren överger hantverket. Vad tillför egentligen uttrycket ”beprövad erfarenhet”? Amos Tversky och Daniel Kahneman har förändrat vår syn på experternas intuitioner och erfarenhet. Experterna känner igen mönster och denna förmåga kan imponera, men ju bättre vi blir på att samla in data desto tydligare kommer vetenskapen att visa sig vara överlägsen.

Länge tvekade läkarna inför de vetenskapliga metoderna. De ifrågasatte ju deras auktoritet. Amatörerna i Tetlocks projekt hade ingen sådan prestige. De var inte som Isaiah Berlins igelkottar med en eller annan stor älsklingsidé utan som hans rävar, beredda att pröva många olika idéer. De var pragmatiska, valde det som fungerar. Och de lyssnade gärna på goda råd om hur de skulle kunna bli bättre.

Tetlock engagerade 2800 frivilliga deltagare i tävlingen som pågick under flera år. De som fick bäst resultat kallar han ”superförutsägare” och i boken lyfter han fram flera av dessa och de metoder de använder. De är intelligenta, men det är inte det som är avgörande. De vrider och vänder på uppgifterna, använder genomgående sannolikhetsresonemang, anlägger olika perspektiv. De är inte emotionellt engagerade i uppgifterna, har lätt för att ändra sig, välkomnar återkoppling och lär av den. I ett avslutande tillägg samlar Tetlock dessa metoder i 10 budord för blivande förutsägare.

Blir förutsägelserna bättre om de görs i grupp? Tetlocks erfarenhet av kommittéarbete fick honom att tvivla, men det visade sig att grupper av förutsägare efter träning i teamwork var betydligt bättre än enstaka individer. Ännu bättre gick det när man bildade grupper av superförutsägare. På ett år ökade de sin förmåga med 50 procent. Genom att diskutera förutsägelserna i gruppen ökade dynamiken, ifrågasättandet, i processen. Misstagen blev färre, revisionerna fler, förutsägelserna bättre.

Superförutsägarna lägger ned möda på sina förutsägelser. De använder system 2, dvs. tänker efter, i stället för att nöja sig med system 1, dvs. gå på känsla. Tetlock har samarbetat med Daniel Kahneman och använder gärna hans teori om tänkandet. Men Tetlock menar att superförutsägarna har blivit så vana vid att tänka efter att det går automatiskt, utan ansträngning. Det betyder också att de inte tänker fel lika ofta som vi andra. De är inte lika mycket offer för den sortens kognitiva misstag som Kahneman vigt sitt liv till att studera.

Tetlocks bok är en lovsång till vetenskapen, till experiment, datainsamling och statistik, till att våga pröva sina idéer, låta dem möta verkligheten. På område efter område ställer vi nu om till att arbeta mer vetenskapligt. En anledning är att digitaliseringen gjort det så mycket enklare att samla in stora mängder data och hantera dem. Vi gör detta i hälsovården, vi gör det i fastighetsförvaltningen, vi gör det i idrotten. Det är hög tid att vi börjar göra det i politiken.

För att uttalanden ska kunna testas får de inte vara så allmänt hållna att det vid påseende blir osäkert vad de innehåller. Tyvärr gäller detta alltför ofta när experter uttalar sig i media. Samtidigt vill Tetlock inte helt förneka värdet av den sortens vaga uttalanden. Om man inser att de inte ger oss några tydliga svar har de sin styrka i att de ställer de intressanta frågorna. För att kunna göra det måste man ha en förståelse för fenomenen ifråga. Man måste ha en teori, ett ramverk av begrepp, som gör att man lyfter fram vissa aspekter och inte andra.

Tetlocks superförutsägare och deras sätt att arbeta när de arbetar i grupp är goda förebilder för ett vetenskapligt arbetssätt. Men det saknas ett viktigt inslag i denna förebild. Superförutsägarna drivs inte av teoretiska ambitioner. Vetenskapen behöver både teori och empiri, både allmänna idéer och specifika data. Teorin anger vilka data vi behöver samla in. Teorierna ser mönster i det som sker och ger oss en förståelse genom att de hjälper oss att se något som något. Teorierna måste kompletteras med datainsamling, med mätning, för att inte bli hängande i luften, men utan teorier vet vi inte vilka frågor vi ska ställa till verkligheten, vilka data vi ska samla in.

Bo Dahlbom