Een deel hiervan komt omdat donkere kleuren minder contrast hebben en schaduwen slechter laten zien, waardoor dit soort systemen mensen met een donkere huidskleur slechter herkend.
Doet me denken aan [deze video](https://youtu.be/t4DT3tQqgRM?si=iEBnmxW30XKlwwQe). Nog van voor de tijd van zelflerend AI. Destijds was het grappig. Het was wel stom van HP, maar ergens kon je het nog begrijpen. Dit moest helemaal met de hand geprogrammeerd worden, met elk stukje herkenning echt zeer expliciete code, en met hardware die ook niet geweldig is. En ook elke nuance moet je expliciet opschrijven, of hij is er gewoon niet. En als je dan een gebouw met enkel blanke programmeurs hebt, dan wordt het lastig testen.
Maar tegenwoordig is het écht wel gênant. We hebben nu toch best geavanceerde zelflerende AI. We hebben datasets. Testen gaat niet meer op 10 collega’s, maar op datasets van duizenden gezichten. En met duizenden camera’s. Je kan zelfs datasets inkopen. Nuances hoef je niet meer in te programmeren, die leert de AI zelf wel. Als het dan moeite heeft om bepaalde mensen te herkennen, dan is in ieder geval je hele dataslecht gewoon enorm slecht. En mogelijk zijn er nog andere technische problemen, maar eigenlijk is altijd de dataset in dit soort gevallen slecht.
We zijn tegenwoordig toch wel op een punt dat dit soort problemen niet meer hoeven voor te komen.
ik vind dit zwaar discriminerend, alsof mensen met een blanke huid zwaarder moeten worden gecontroleerd als mensen met een donkere huid.
Dit herinnerd me aan een verhaal van een medische apparatuur ontwikkelaar die een nieuwe spiegel had ontwikkeling met AI integratie voor de herkenning van allerlei medische zaken voor gezondheid checks. Maaaar tijdens de ontwikkeling waren ze even vergeten dat de zwarte medemens bestond. Dus de machine Learning modellen konden ze niet herkennen. En het duurde ze maanden voordat ze het probleem hadden ontdekt, want ze hadden datasets gebruikt die alle soorten mens zou moeten bevatten, maar dat bleek dus niet zo te zijn. En aangezien de meerderheid van de medewerkers blank waren, hebben ze het alleen daarop getest. Een teken dat ongelukkige rasisme niet altijd express is, maar zeker wel iets is wat aangekaart moet worden.
Betere vraag is, waarom we dit soort software nodig hebben om mee te beginnen. Neem gewoon de test af op papier, in een gymzaal met lege zakken.
5 comments
[Hier een video of dit soort fenomenen](https://youtu.be/Ok5sKLXqynQ?si=zVN2e8RsZjpBUJM2).
Een deel hiervan komt omdat donkere kleuren minder contrast hebben en schaduwen slechter laten zien, waardoor dit soort systemen mensen met een donkere huidskleur slechter herkend.
Doet me denken aan [deze video](https://youtu.be/t4DT3tQqgRM?si=iEBnmxW30XKlwwQe). Nog van voor de tijd van zelflerend AI. Destijds was het grappig. Het was wel stom van HP, maar ergens kon je het nog begrijpen. Dit moest helemaal met de hand geprogrammeerd worden, met elk stukje herkenning echt zeer expliciete code, en met hardware die ook niet geweldig is. En ook elke nuance moet je expliciet opschrijven, of hij is er gewoon niet. En als je dan een gebouw met enkel blanke programmeurs hebt, dan wordt het lastig testen.
Maar tegenwoordig is het écht wel gênant. We hebben nu toch best geavanceerde zelflerende AI. We hebben datasets. Testen gaat niet meer op 10 collega’s, maar op datasets van duizenden gezichten. En met duizenden camera’s. Je kan zelfs datasets inkopen. Nuances hoef je niet meer in te programmeren, die leert de AI zelf wel. Als het dan moeite heeft om bepaalde mensen te herkennen, dan is in ieder geval je hele dataslecht gewoon enorm slecht. En mogelijk zijn er nog andere technische problemen, maar eigenlijk is altijd de dataset in dit soort gevallen slecht.
We zijn tegenwoordig toch wel op een punt dat dit soort problemen niet meer hoeven voor te komen.
ik vind dit zwaar discriminerend, alsof mensen met een blanke huid zwaarder moeten worden gecontroleerd als mensen met een donkere huid.
Dit herinnerd me aan een verhaal van een medische apparatuur ontwikkelaar die een nieuwe spiegel had ontwikkeling met AI integratie voor de herkenning van allerlei medische zaken voor gezondheid checks. Maaaar tijdens de ontwikkeling waren ze even vergeten dat de zwarte medemens bestond. Dus de machine Learning modellen konden ze niet herkennen. En het duurde ze maanden voordat ze het probleem hadden ontdekt, want ze hadden datasets gebruikt die alle soorten mens zou moeten bevatten, maar dat bleek dus niet zo te zijn. En aangezien de meerderheid van de medewerkers blank waren, hebben ze het alleen daarop getest. Een teken dat ongelukkige rasisme niet altijd express is, maar zeker wel iets is wat aangekaart moet worden.
Betere vraag is, waarom we dit soort software nodig hebben om mee te beginnen. Neem gewoon de test af op papier, in een gymzaal met lege zakken.