Diskutera etik och digital matchning!
Vi har samlat 5 etiska problem kopplade till digital matchning och rekrytering. [Etik och digital matchning | Jobtech)
Vad tycker du? Vilka etiska utmaningar tycker du är viktigast? Vad har vi missat?
1 gillning
Tackar skall läsa de orosmoln jag ser beskrivs i boken “Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy” den boken har några år på nacken och jag undrar ni som är i branschen har det blivit bättre
2 gillningar
Jag tycker det saknas en diskussion om vad som är diskriminering. Det finns väl minst två principiella sätt att se det; utfallsbaserad och i brist på ett bättre begrepp för detta området “rättighetsbaserad”. Vilken tänker vi oss? Är alla bias ett tecken på diskriminering?
Är det ett tecken på diskriminering om inte algoritmen väljer procentuellt lika många män som kvinnor? Gamla som unga? Etc. Amazons artikeln verkar ha den uppfattningen för att den resonerade aldrig om ifall utfallet faktiskt var det bästa. Det verkade nästan bara fastslagits axiomatiskt.
När det gäller deep-learning så finns det vad jag vet än inget som kan förklara varför ett visst beslut har tagits. Algoritmen lär sig från datamängden, så om det finns diskriminering i den så kommer det initialt finnas diskriminering i tjänsten.
Så hur kan man lösa det? Jag ser två sätt:
- Bestäm vilka beslut i träningsdatan som bygger på diskriminering och ta bort dom.
- Acceptera att tjänsten är diskriminerande i början, men återkoppla hela tiden resultatet från algoritmens beslut. Då kommer algoritmen till slut inte diskriminera längre, i alla fall inte ur ett rättighetsbaserat perspektiv. Däremot kan den ju skapa ett bias.
Ett bias är i sig inte fel, det är egentligen vad deep-learning handlar om helt och hållet. Att hitta vilka skillnader (bias) i data som är avgörande för rätt beslut. Sen kan det ju hända att dessa bias sammanfaller med bias vi inte gillar, men det är ju bara vad som rent statistiskt är rätt beslut.
“Efterfrågad omdömeskunskap är oftast beroende av en viss verksamhetskontext, men de uttrycks sällan explicit i dataunderlaget.” Det finns inget som säger att en algoritm inte kan ha verksamhetskontext. Det behöver inte uttryckas i annonsen. Det kan finnas indirekt i vikterna i modellen, som tränats för att förstå kontexten.
“Ett vanligt missförstånd är att processen blir allt mer objektiv desto mer data och algoritmer som används.” Detta skulle jag säga är helt fel. Om beslut från algoritmen matas tillbaka då kommer algoritmen hitta ett tillräckligt bra statistiskt optimum till slut. Påståendet kan stämma om man bara fortsätter att fylla på med diskriminerande data, men det stämmer inte generellt. Om det stämde hade deep-learning inte fungerat. Ovanstående resonemang kanske hänger något på vad man menar med objektiv. Jag resonerar kring det i form av “nytta”.
“Textanalysverktyg och datadrivna modeller utgår från att innebörden av ord kan hämtas direkt från den lingvistiska kontexten.” Detta stämmer inte. Om vi anser att en människa kan göra ett beslut utanför den lingvistiska kontexten, så kan en AI göra det också, förutsatt att den får tillgång till samma data som människan.
Det man bör göra om man använder dessa algoritmer är att göra träningsdata öppet tillgänglig och göra det färdigtränade nätet tillgängligt. Då kan tredjepart granska data och se om de hittar diskriminering i den. Tredjepart kan även testa hur algoritmen beter sig genom att mata in data och se vilka svar den ger, och därmed kanske kunna dra slutsatsen om algoritmen diskriminerar eller inte. Att veta det kommer däremot vara mycket svårt, med tanke på resonemanget om bias ovan.
“Idag saknar i regel de flesta rekryteringssajter öppen information om hur deras digitala matchningsmetoder går till.” Som sagt, använder de deep-learning så kan de inte motivera besluten. Det enda dom kan göra är att göra algoritmen och datan öppen.
“Otydligt ansvar när data-drivna modeller går fel”. Är detta verkligen ett nytt problem? Jag antar att vi i åratal har haft samma problematik med vem som bär ansvaret för om ett datasystem gör fel. Spelar det roll vilken algoritm som gör fel?
2 gillningar
Hej!
Tack för inspel. Tips om analyser och kartläggningar är alltid välkomna. Det är svårt att svara för hela branschen, men frågan är åtminstone fortfarande aktuell och relevant. Se exempelvis den här konferensen som nyligen organiserades av OECD.
Hej!
Tack för inspel. Som ditt svar antyder är beskrivningen av projektet en ingång till flera intressanta diskussioner. Det finns många perspektiv på diskriminering, liksom det finns många perspektiv på vad som är “rätt beslut” och vad man bör välja för objektiva mått på exempelvis “nytta”. Förhoppningsvis framgick det av vår text att vi också är för en ökad öppenhet med data och algoritmer för att perspektiven ska kunna brytas så att vi tillsammans kan närma oss allt bättre beslut och beslutsstöd också inom digital matchning.