Het cocktailpartyprobleem beschrijft hoe het brein zich in een drukke, lawaaierige ruimte concentreert op één geluid of stem. Voor iedereen die een hoortoestel draagt, is het cocktailpartyprobleem reëel. Met veel hulp van machine learning probeert TU/e-promovendus Luan Fiorio dit probleem op te lossen.

Schematische weergave van een persoon die zich concentreert op één geluidsbron in een ruimte met meerdere andere geluidsbronnen. Afbeelding: Luan Fiorio

Het cocktailpartyprobleem beschrijft hoe het menselijke auditieve systeem zich op één geluid richt boven vele andere – een probleem dat men op elk druk feest kan tegenkomen. Mensen met normaal gehoor kunnen specifieke stemmen isoleren uit een kamer vol stemmen, maar mensen met gehoorverlies hebben moeite om één stem te onderscheiden van veel andere stemmen, geluiden en galmen. “Hoortoestellen en andere gehoorapparaten kunnen helpen, en recente ontwikkelingen in machine learning-modellen hebben ze nog beter gemaakt, maar deze vooruitgang vereist veel rekenkracht”, aldus Fioro.

“Ik ben opgegroeid met gitaar spelen, en ik was altijd nieuwsgierig naar hoe gitaarversterkers werkten en welke verwerkingsalgoritmen erachter zaten. Dit bracht me naar het vakgebied van audioverwerking en later kwam ik in contact met onderzoek naar het probleem van audioprocessing in hoortoestellen. Het feit dat mijn promotieonderzoek een positieve invloed kon hebben op hoortoesteltechnologieën, en daarmee op het leven van veel mensen, was ook een enorme motivatie tijdens mijn promotietraject.”

Labelbias vermijden

Een belangrijk onderzoekspunt was de training van de software in hoortoestellen. “Hoortoestellen moeten in staat zijn om verschillende geluiden in een omgeving te identificeren, wat kan worden gebruikt om het cocktailpartyprobleem te onderdrukken. Dit betekent dat de apparaten verschillende geluiden moeten kunnen herkennen, zoals stemmen, evenals kenmerken van de akoestische omgeving.”

Normaal gesproken wordt hoortoestelsoftware (in deze context: neurale netwerkmodellen) getraind via supervised learning, waarbij elk audiosignaal een label heeft dat het signaal beschrijft. Dit kan echter enkele problemen opleveren.

“Labels dragen vooroordelen. Zo kan de ene persoon een bepaald geluid labelen als afkomstig van een metrostation, terwijl een ander het als afkomstig van een luchthaven bestempelt. Om labelbias te vermijden, heb ik geen labels gebruikt. In plaats daarvan gebruikte ik onbegeleid leren, waarbij het mogelijk is om neurale netwerken bepaalde taken te laten leren zonder het ‘juiste antwoord’ bij de hand te hebben. Dit gebeurt via wiskunde en kansrekening.”

Machine learning

Machine learning speelde een centrale rol in Fiorio’s onderzoek, en hij erkent snel het belang ervan. “Het is moeilijk om moderne audioverwerking zonder machine learning te bedenken. Elk groot hoortoestelbedrijf heeft minstens één apparaat in zijn catalogus dat een op deep learning gebaseerde aanpak toepast, en bijna alle moderne apparaten maken gebruik van machine learning.”

Machinelearningmethoden blijken handig wanneer ze worden gebruikt in situaties waarin ruis onvoorspelbaar is en akoestische omstandigheden plotseling kunnen veranderen – beide typerend voor het cocktailpartyprobleem.

Fiorio richtte zich vooral op het verbeteren van de algoritmen in hoortoestellen. Hij controleerde de resultaten met meetgegevens en door te luisteren naar de audioclips die de software produceerde. Helaas kon hij de software niet testen in hoortoestellen die daadwerkelijk door mensen werden gedragen. “Er zijn nauwelijks bedrijven die testapparaten voor gehooronderzoek maken. Hoortoestelfabrikanten hebben meestal wel hun eigen testapparatuur, maar die gebruiken ze vooral intern.”

Toekomstige hoortoestellen

Naarmate computerchips efficiënter worden en gezien de kracht van machine of deep learning, lijken hoortoestellen in de toekomst meer te zullen steunen op machine learning-benaderingen. “Deze algoritmen zijn afhankelijk van efficiënte hardware-implementatie om hun rekenkosten te compenseren, wat ook een bottleneck is”, merkt Fiorio op. “Een efficiëntere implementatie zou een lager batterijverbruik betekenen.”

Fiorio gelooft dat zijn werk om hoortoestellen te trainen om geluiden te herkennen zonder het labelen van geluiden cruciaal zal zijn. “On-the-fly leren voor hoortoestellen tijdens de operatie is het ultieme doel. Op deze manier heeft elke gebruiker toegang tot een gespecialiseerd apparaat dat zich aanpast aan zijn of haar behoeften op basis van hun persoonlijke voorkeuren en de omgeving om hen heen. De eerste stap naar deze prestatie is labels vergeten en je te richten op de audiocontent zelf.”