Om Algoritmer

Det blir allt vanligare att företag och organisationer överlåter beslutsfattande på algoritmer. Argumentet för är bedrägligt lättbegripligt, en algoritm är alltid opartisk, har aldrig en dålig dag och kan inte mutas.

Visst hade det varit bättre om en algoritm fick sköta upphandlingen av Nya Karolinska?
Nej. Absolut fel.

Det råder inte längre någon som helst tvekan om att algoritmer, eller AI som de lite slarvigt börjat kallas, på sin höjd kan användas som ett trubbigt redskap för att fatta beslut med väldigt låg risk. Allt annat bör de hållas borta från, framför allt om människor påverkas av besluten som fattas.

En algoritm är nämligen inte alls opartisk, den exekverar bara urskiljningslöst de förutfattade meningar som den matades med under sin “uppväxt”.

Apple Card och sexism

Det började med en Tweet:

The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) November 7, 2019

I tråden kom fler exempel på hur Apple delat ut lägre kredit till kvinnor än män. Apples försvar var en blandning av att skylla på Goldman Sachs och algoritmen. (Varför i hela friden de kröp ner i samma säng som Goldman Sachs till att börja med… ¯\_(ツ)_/¯)

Att skylla på algoritmen när något gått fel är att begå ett dubbelfel.

För det första står det företag fritt att använda algoritmer, att testa dem, och att skriva om dem ifall de inte fungerar som de var tänkta att fungera. Skyll inte på det verktyg du själv har valt när du utfört ett dåligt arbete.
För det andra så späder detta på myten om den ofelbara algoritmen. Att vi dödliga människor inte kan göra mer än att stoppa in data i ena änden och sen godta det som kommer ut ur den andra.

Så är det inte, och så har det aldrig varit. Men det är dit vi, frivilligt, är på väg.

Uber och över­gångs­ställen

Än värre blev resultatet av denna fördomsfulla algoritmer när en självkörande Uber bil dödade en kvinna som gick över gatan förra året. Nyligen slogs det fast att bilen fungerade som den skulle, den var bara inte byggd med människor i åtanke

The software inside the Uber self-driving SUV that killed an Arizona woman last year was not designed to detect pedestrians outside of a crosswalk.

Bilen letade inte efter människor någon annanstans än vid övergångsställen, hade kvinnan gått på ett sådant så kanske hon hade skonats.
Frågan är om Ubers nye CEO sitter och ljuger en reporter rakt upp i ansiktet när han skyller på en trasig sensor eller om han också är ett offer för den felaktiga åsikten att algoritmer inte är något vi människor har kontroll över.

För tyvärr har det blivit så, vi låter maskiner skriva så pass avancerade algoritmer att vi inte längre vet till 100% på vilka grunder de fattar sina beslut. Vill det sig riktigt illa så tillhör dessutom algoritmen ett företag som inte behöver förklara den på grund av att den räknas som en affärshemlighet. Sådana algoritmer ställer just nu till med en massa mänskligt lidande i rättsystem på olika platser i världen.

I fallet med Apples kreditkort så drabbade det någon med makt, någon som i ärlighetens namn inte har drabbats i ordets verkliga betydelse. Vilket hon själv erkänner i sin läsvärda bloggpost om händelsen. Jamie Heinemeier Hansson, som hon heter, skriver bland annat:

But AppleCard representatives did not want to hear any of this. I was given no explanation. No way to make my case.

Och precis så börjar det fungera i domstolar och på socialtjänstkontor runt om i världen. Folk döms av en svart låda som varken kan eller behöver förklara sina beslut. Det är inte algoritmer vi behöver. Vi behöver mer kompetenta människor. Det är på tok för tidigt att låta algoritmer bestämma över oss. Framför allt över de mest utsatta av oss.