Problemen med viktade utvärderingar

I lagen om offentlig upphandling anges att en upphandlare dels kan anta anbudet med lägst pris, dels ta hänsyn till andra kriterier än pris. I dessa fall ska det framgå av underlaget hur sådana kriterier kommer att viktas inbördes.

De formler som används för att beskriva viktningen är en funktion där pris och kvalitet samverkar på ett förutbestämt sätt. Resultatet av denna samverkan, mellan pris och kvalitet, avgör anbudens rangordning. En konsekvens av viktning är att ett anbud med hög kvalitet kan vinna upphandlingen trots att det inte är billigast. Vikt är därför en matematisk beskrivning som visar hur priset tillåts öka när kvalitén ökar.

Det finns en föreställning om att viktning av kvalitetskriterier förhindrar ”dåliga” anbud med lågt pris från att vinna en upphandling. Detta uppnås genom att vikta upphandlingen så att anbud med högre kvalitet gynnas. Därmed kan ett anbud med högre kvalitet vara dyrare än anbud med lägre kvalitet. Viktade upphandlingar ses ofta som ett uttryck för myndighetens villighet att betala för kvalitet.

Viktning signalerar att verksamheten kan anta hög eller låg kvalitet beroende av priset. Rimligtvis borde det vara rätt kvalitet oberoende av pris.

Det är dessvärre bara halva sanningen. Eftersom vikt är en funktion där pris och kvalitet samverkar är det lika sant att ett kvalificerat anbud, utan mervärde, kan vinna en upphandling bara priset är nog lågt.

Viktade upphandlingar är därför både ett uttryck för myndighetens villighet att betala för kvalitet men också ett uttryck för hur lite kvalitén betyder bara priset är nog lågt.

Ett högt pris kan kompenseras av hög kvalitet. Ett anbud utan mervärden kan kompensera bristande kvalitet genom lågt pris. Vikt är kommunicerade kärl mellan pris och kvalitet.

Högsta kvalitet är sällan bäst

I verkligheten är högsta kvalitet sällan bäst. Om så vore fallet skulle alla våra leasingbilar vara av märket Rolls Royce och alla skolbarn skulle äta Wallenbergare gjorda på oxfilé i skolmatsalen. Bra kvalitet handlar i stället om att det ska vara rätt kvalitet i förhållande till verksamhetsuppdraget, inte högsta kvalitet.

I många fall innehåller utvärderingen en bedömning av anbudens kvalitetshöjd. Exempelvis ”beskriv arbetet med x y z”. ”Eller ange a b c”.

Uppenbarligen vet upphandlaren vad ett anbud ska innehålla för att få en viss poäng. Annars skulle utvärderingen inte kunna genomföras. Om man nu vet det, varför beskriver då förfrågningsunderlag så sällan hur bra ett anbud måste vara får att vi ska kunna genomföra vårt verksamhetsuppdrag på ett tillfredsställande sätt?

I dag används ofta en metod för viktning som medger successivt stigande pris i takt med stigande kvalitetspoäng. Hur kunde det bli så kan man fråga sig? För utom att all utvärdering driver priset uppåt så är kontraktsföremålets kvalitetshöjd nu beroende av innehållet i inlämnade anbud. Om vi är beredda att betala mer för anbudet med hög kvalitet varför ställer vi då inte det som krav? Det är bara genom kravställning som en leverantör kan få en uppfattning om vad den offentliga marknaden behöver.

Hela idén med viktad utvärdering är i bästa fall mycket tveksam.

Metoden med viktning signalerar att verksamheten kan anta hög eller låg kvalitet beroende av priset. Rimligtvis borde det offentliga ha rätt kvalitet oberoende av pris. Det kan inte vara en mänsklig rättighet att alltid köpa det med högst kvalitet bara för att man betalar med skattemedel.

I stället för att försöka bedöma vad som är bäst, och betala ett högre pris, bör vi bedöma om anbudet klarar våra krav och är tillräckligt bra. Av alla anbud som bedöms som tillräckligt bra väljer vi anbudet med lägst pris.

Frågan är om det finns något sakligt skäl till att betala mer för ett anbud som är bättre än det vi själva anser vara tillräckligt bra? Jag tror att vi alla kan vara överens om att om vi har två anbud, där båda är tillräckligt bra för att vi ska kunna genomföra vårt verksamhetsuppdrag, så är det anbudet som har lägst pris av de bägge som är bäst. Bäst för så väl myndigheten som för skattebetalarna. Det innebär att hela idén med viktad utvärdering i bästa fall är mycket tveksam.

Tillräckligt bra är för övrigt just den metod vi använder när vi handla för våra egna pengar. Som privatpersoner viktar vi aldrig pris och kvalitet. Vi är inte heller beredd att betala mer för något som är bättre än vi är i behov av. I synnerhet om vi redan har något som är tillräckligt bra och som dessutom är billigare.

Tveksam affärsmodell

Metoden med viktade upphandlingar är i bästa fall en mycket tveksam affärsmodell. I synnerhet hur kvalitetspoängen sammanställs och beräknas. Ur ett affärsperspektiv räcker det knappas att vi räknar på det sätt vi sagt i förfrågningsunderlaget. Vi måste också säkerställa att vi beräknar det vi vill veta.

Anta att vi utvärderar ändamålsenlighet i ett IT-system. Vi listar en mängd kriterier. Två av dom är användarvänlighet och tillgänglighet. I utvärderingen poängsätter vi dessa egenskaper och för varje ökning av kvalitetspoängen tillåts anbudets pris öka med den fastställda viktningen. I detta fall är vikten eller maxpoängen lika stor för bägge kriterierna (max 9) då vi bedömt att dom är lika viktiga.

Beakta nedanstående anbud och fundera på vilket av anbuden som är bäst.

Summering av kvalitetspoäng

Vi har två anbud med samma poäng. Poängen är något överdrivna i syfte att klargöra hur summering fungerar.

Enligt vår modell har bägge anbuden samma kvalitet. Men stämmer det?

I verkligheten har Anbud A ett system som i princip är oanvändbart, oavsett pris. Anbud B är det klart bästa och representerar ett system som går att använda. Anbuden får samma poäng då alla kriterier är utbytbara. Det beror på att metoden summerar kvalitetspoängen i stället för att multiplicera den.

Summametoden tillåter en leverantör att kompensera en dålig egenskap genom att vara bra på något annat. Man kan byta dålig användarvänlighet med bra tillgänglighet eller tvärt om. Men det vi är ute efter är naturligtvis ett system som är bra på alla kravställda kriterier. För att få modellen att representera det vi vill veta måste alla kvalitetspoäng multipliceras, inte summeras. Det är bara då vi får en rättvis bild som representerar anbudens kvalitet och de vi vill veta.

Multiplicering av kvalitetspoäng

Vid multiplikation är poängen inte utbytbara på samma sätt som vid summering.

När kvalitetspoängen multipliceras blir Anbud B mer än dubbelt så bra som Anbud A. I andra sammanhang, exempelvis vid riskanalys, där man precis som i upphandling sammanställer ”mjuka” kriterier används multiplikation i stället för summering. Det är oklart varför summering av kvalitetskriterier är den förhärskande metoden inom offentlig upphandling. Det finns inget som talar för att det blir rätt.

Metoden gör också att det blir omöjligt för upphandlaren att skapa ett underlag som styr marknaden genom att premierar vissa kvalitetsegenskaper före andra.

Kombinationen av att summering medger full utbytbarhet mellan alla kvalitetsegenskaper samt att metoden tillåter kompensation av bristande mervärde genom sänkt pris, gör att ett anbuds slutpoäng och därmed kvalitet inte behöver ha någon representation i anbudet.

Metoden visar inte heller hur bra eller dåligt ett anbud svarar mot verksamhetsuppdraget, dels för att det så sällan är kravställt med uppdraget som utgångspunkt, dels för att metoden inte beräknar det vi vill veta.

Måste veta verksamhetens behov innan annonsering

Ingen upphandlare kan vid anbudsöppningen utvärdera sig fram till verksamhetens behov av kvalitet eftersom kvalitén då är begränsad till innehållet i de anbud som inkom i upphandlingen.

Som upphandlare måste du känna till verksamhetens behov innan annonsering, uttrycka dessa krav i ett avtal och ta in anbud. Man måste helt enkelt veta vad man vill ha.

Om en förvaltning inte talar om inför upphandlingen hur bra något måste vara för att vara tillräckligt bra kan denna kunskap inte ersättas genom att upphandlaren viktar pris och kvalitet.

För att säkerställa den bästa affären måste man därför återgå till upphandlingens grundläggande princip och ställa rätt fråga:

   Vi ska köpa det här! Hur mycket kostar det?