Samenvatting

Robots spelen in de samenleving een steeds grotere rol. Veel bedrijven houden deze ontwikkeling in de gaten, waaronder Atos. Atos wil dat de door hen aangeschafte humanoïde robot Pepper zelfstandig een verscheidenheid aan vragen kan beantwoorden op een zo natuurlijk mogelijke manier. Momenteel kunnen er met Pepper alleen gescripte gesprekken gevoerd worden. Het doel van deze afstudeeropdracht is onderzoeken hoe Pepper zelfstandig kan functioneren als assistent om vragen van bezoekers en medewerkers te beantwoorden. Met deze opdracht zullen de eerste stappen worden gezet om Pepper zelfstandig te laten converseren met een hoge mate van intelligentie. Hiervoor is de volgende onderzoeksvraag opgesteld: Hoe kan er op Pepper spraak worden omgezet naar tekst en daarvan de context worden bepaald? Om een antwoord te kunnen geven op de onderzoeksvraag is er literatuur-, experimenteel- en exploratief onderzoek uitgevoerd. Het onderzoek start met de werking van Pepper. De robot is voorzien van een aantal sensoren, waarvan de twee voorste richtingsgevoelige microfoons belangrijk zijn. De realtime audiodata van deze microfoons zijn noodzakelijk om spraak om te zetten naar tekst. Pepper heeft zelf geen vrije spraakherkenning. Wat dit betekent is dat de woorden exact moeten matchen om gedetecteerd te worden. Hiervoor dient de oplossing zelf geprogrammeerd te worden door gebruik te maken van een externe spraakherkenning systeem. De technische uitdagingen hiervan zijn dat de realtime audiodata niet kan worden verkregen, het servicemanagement niet goed werkt en de CPU niet de kracht heeft complexe services uit te voeren. Met Robot Operating System (ROS) worden de beperkingen grotendeels opgelost. ROS staat geïnstalleerd op een server die vervolgens weer verbonden is met Pepper. Via de server kan de realtime audiodata worden verkregen. Er moet rekening worden gehouden met de omgeving waarin Pepper zich bevindt, omdat ruis de performance van de spraakherkenning kan belemmeren. Een noise gate zal gebruikt worden om geluiden onder bepaald geluidsniveau niet constant mee te nemen in de externe spraakherkenning. Een systeem voor externe spraakherkenning zal aan de volgende eisen moeten voldoen: het moet een Continuous Speech Recognition systeem zijn, het moet een lage Word Error Rate hebben, spraak moet realtime worden verwerkt, het moet voorzien zijn van een grote woordenlijst, de Nederlandse en/of Engelse taalmodule moet aanwezig zijn en het moet worden geprogrammeerd in ROS. De spraakherkenningen die het beste naar voren zijn gekomen zijn Google Cloud en IBM Watson. Ze moeten beide als een socket worden geprogrammeerd voor een snelle responsetijd. Dit is op het moment alleen gelukt met IBM Watson. Tot slot om de context te kunnen bepalen is er Natural Language Processing (NLP) nodig. Bij NLP gaat het om taal begrijpen, verwerken en genereren net als een persoon. Spraakherkenning is daar onderdeel van. Voor het begrijpen van de context is een dataset nodig, waar de verkregen tekst op gebaseerd kan worden. Hiervoor is IBM Assistant gekozen om het systeem te kunnen trainen met een dataset. IBM Assistant zal de bedoeling van de zin bepalen en de specifieke waardes uit de zin halen. Om een gebruiker door een proces te helpen kan de dialoog worden gemaakt in IBM Assistant. Het grote verschil met Pepper hiermee is dat woorden niet meer exact hoeven worden gezegd om een dialoog te kunnen voeren. Op basis hiervan wordt aanbevolen om aan een basis platform te werken voor Pepper waar gemakkelijke andere services en diensten op aan kunnen worden gesloten. De intelligentie van Pepper wordt dan hiermee vergroot om in de toekomst in te kunnen zetten als zelfstandig vraagbak en assistent.