dit lijkt op dezelfde “bias” die ervoor zorgt dat research/design zich richt op mannen ipv vrouwen.
voorbeelden die ik hiervan ken:
– bij medisch onderzoek vrouwen uitsluiten omdat menstruatie lastig is tijdens onderzoek. leidt ertoe dat alleen onderzocht wordt wat impact op mannen is
– klimaatbeheersing in kantoorgebouwen – ingesteld door mannen en onderzoek bij m. n. mannelijke populatie zorgt ervoor dat vrouwen het structureel koud hebben op kantoor
– ontwerp mobiele telefoons – te groot voor gemiddelde vrouwenhand
– of wat te denken van mooie bestruiking langs een fietspad, fijn fietsen langs het groen. Alleen voelt een aanzienlijk deel van de vrouwen zich daardoor niet meer veilig als ze er in het donker langs fietsen
allemaal niet bewust, maar heeft wel impact.
Daarom goed dat dit onder de aandacht blijft komen zodat mensen zich bewust worden van hun blinde vlek voor de ervaring/situatie van mensen die anders zijn dan jezelf bent.
Het beeldherkenningsvoorbeeld is vooral een kwestie van slecht ontworpen en slecht geteste software. Je zou zeggen dat wanneer dat soort toepassingen breed gebruikt worden dat je daar je ontwikkeling wel op aanpast. En dat dit soort toepassingen door mensen gebruikt worden met een niet blanke huidskleur lijkt me nogal voor de hand liggen. Kwalijk dat daar geen rekening mee gehouden is.
De andere voorbeelden zijn lastiger in te schatten. Ik ga er vanuit dat iemand die een algoritme schrijft in de eerste plaats uit is op zo correct mogelijke output. Als er uit het gebruik van zo’n algoritme rare of onjuiste keuzes rollen dan kun je daar vragen over stellen. Maar nog meer als er ergens **puur** o.b.v. algoritmiek keuzes worden gemaakt: dat lijkt me nooit verstandig.
Er is een veel breder probleem waarbij mensen die eigenlijk weinig verstand van technologie hebben een enorme bias hebben naar de ‘voordelen’ maar vrijwel compleet de nadelen negeren. Of het nu zaken als machine learning is (wat gewoon toegepaste statistiek is op grote hoeveelheden data), of start-ups als Uber of Airbnb die weer eens aantonen hoe gevaarlijk deregulering kan zijn.
We hebben meer mensen in de politiek nodig die echt verstand van techniek hebben. Maarja. Waarom zou je, als je echt verstand hebt van zaken, in de politiek gaan werken? Een Catch-22.
Mensen hebben inherente bias.
Software/algoritmen worden door mensen geschreven.
7 comments
Dat is al een tijdje bekend toch?
Dat de bronnen waar algortimes mee//op getrained worden leiden onder de bias van de mensen die ze selecteren?
Zie bv ook: gezichtsherkenning op camera’s.
Doet me denken aan dit klassiekertje van 13 jaar geleden: [HP computers are racist](https://www.youtube.com/watch?v=t4DT3tQqgRM)
dit lijkt op dezelfde “bias” die ervoor zorgt dat research/design zich richt op mannen ipv vrouwen.
voorbeelden die ik hiervan ken:
– bij medisch onderzoek vrouwen uitsluiten omdat menstruatie lastig is tijdens onderzoek. leidt ertoe dat alleen onderzocht wordt wat impact op mannen is
– klimaatbeheersing in kantoorgebouwen – ingesteld door mannen en onderzoek bij m. n. mannelijke populatie zorgt ervoor dat vrouwen het structureel koud hebben op kantoor
– ontwerp mobiele telefoons – te groot voor gemiddelde vrouwenhand
– of wat te denken van mooie bestruiking langs een fietspad, fijn fietsen langs het groen. Alleen voelt een aanzienlijk deel van de vrouwen zich daardoor niet meer veilig als ze er in het donker langs fietsen
allemaal niet bewust, maar heeft wel impact.
Daarom goed dat dit onder de aandacht blijft komen zodat mensen zich bewust worden van hun blinde vlek voor de ervaring/situatie van mensen die anders zijn dan jezelf bent.
Het beeldherkenningsvoorbeeld is vooral een kwestie van slecht ontworpen en slecht geteste software. Je zou zeggen dat wanneer dat soort toepassingen breed gebruikt worden dat je daar je ontwikkeling wel op aanpast. En dat dit soort toepassingen door mensen gebruikt worden met een niet blanke huidskleur lijkt me nogal voor de hand liggen. Kwalijk dat daar geen rekening mee gehouden is.
De andere voorbeelden zijn lastiger in te schatten. Ik ga er vanuit dat iemand die een algoritme schrijft in de eerste plaats uit is op zo correct mogelijke output. Als er uit het gebruik van zo’n algoritme rare of onjuiste keuzes rollen dan kun je daar vragen over stellen. Maar nog meer als er ergens **puur** o.b.v. algoritmiek keuzes worden gemaakt: dat lijkt me nooit verstandig.
Er is een veel breder probleem waarbij mensen die eigenlijk weinig verstand van technologie hebben een enorme bias hebben naar de ‘voordelen’ maar vrijwel compleet de nadelen negeren. Of het nu zaken als machine learning is (wat gewoon toegepaste statistiek is op grote hoeveelheden data), of start-ups als Uber of Airbnb die weer eens aantonen hoe gevaarlijk deregulering kan zijn.
We hebben meer mensen in de politiek nodig die echt verstand van techniek hebben. Maarja. Waarom zou je, als je echt verstand hebt van zaken, in de politiek gaan werken? Een Catch-22.
Mensen hebben inherente bias.
Software/algoritmen worden door mensen geschreven.
Conclusie:
Software/algoritme bevatten (onbedoeld) inherente bias.
Relevant Better off Ted: https://www.youtube.com/watch?v=XyXNmiTIupg