Zurück
Sprachassistenten
Pepper soll Dialoge führen
Wie der Roboter Numi Pepper seine Sprachfähigkeit erweitert.

Menschen haben ein natürliches Bedürfnis nach Kommunikation mit anderen. Gespräche von Angesicht zu Angesicht gehören darum selbstverständlich zum Alltag. Diese Konversationen drehen sich nicht nur um die Erfüllung von Aufgaben oder die Befriedigung von Informationsbedürfnissen, sondern dienen auch dem Aufbau und der Pflege von Beziehungen.

Was für einzelne Menschen gilt, trifft ebenso auf Unternehmen wie die Sparkasse Marburg-Biedenkopf zu: Auch sie können ohne Kommunikation und Konversation nicht funktionieren. Insbesondere die Arbeit mit ihren Kunden ist für die Sparkasse eine tagtägliche, kommunikationsintensive Aufgabe, die traditionell den Kundenberatern zufällt.

Der Wunsch nach Entlastung

Jedoch entsteht bei der alltäglichen Vielfalt und Vielzahl von Kommunikationswünschen seitens der Kunden bei den Beratern der Wunsch nach Entlastung, denn viele Anliegen sind Routine und haben immer dieselbe Antwort oder können nach demselben Schema bearbeitet werden, was Menschen schnell ermüdet, Maschinen jedoch überhaupt nicht stört.

Außerdem können Maschinen im Gegensatz zu Menschen rund um die Uhr für Anfragen von Kund*innen zur Verfügung stehen, ohne dass diese lange am Telefon oder vor Ort warten müssen. Daher finden automatisierte Konversationslösungen immer weitere Verbreitung, ob als natürlichsprachliche Dialogsysteme über das Telefon oder als textbasierte Chat-Lösungen integriert in Webseiten.

Soziale Roboter sind von ihrem Design her prädestiniert für die Kommunikation mit Menschen. Anders als Chatbots oder telefonbasierte Systeme sind sie Teil der unmittelbaren Umgebung von Menschen und können darum mit ihnen von Angesicht zu Angesicht kommunizieren. Darum liegt es für die Sparkasse Marburg-Biedenkopf nahe, ihren sozialen Roboter Numi Pepper für die Kommunikation mit Kunden einzusetzen.

 

Der Roboter Numi Pepper soll seinen Einsatzbereich in der Kundenkommunikation finden.

 

Allerdings fehlt Numi dafür etwas Entscheidendes, nämlich Dialogkompetenz. Dabei handelt es sich um die Fähigkeit, in einen Dialog mit dem Kunden einzusteigen und sich in dieser Konversation als informierter und hilfsbereiter Gesprächspartner zu behaupten. Das erfordert natürlich substantielles Fachwissen über das vielfältige Themenspektrum der Sparkasse. Dieses Fachwissen in Form von Dialogregeln selbst für den Roboter zu entwickeln, würde für die Sparkasse Marburg-Biedenkopf eine große Herausforderung darstellen.

Was Numi fehlt, hat Linda

Aber glücklicherweise gibt es Linda, den vom Sparkassen-Finanzportal (SFP) entwickelten Chatbot für die Sparkassen, basierend auf der Chatbot-Technologie der Firma Kauz GmbH. In der Chat Suite des SFP arbeitet Linda zusammen mit menschlichen Kollegen, um textuelle Anfragen von Kunden rund um die Uhr zu beantworten.

Hierfür wurde sie mit über 1200 bankfachlichen Vorgängen programmiert. Lindas Antworten bestehen aus Text in deutscher Sprache. Hyperlinks, Bilder und Videos können eingebettet werden, ebenso Listen. Die Sparkasse Marburg-Biedenkopf hat Linda als virtuelle Assistentin in ihr Service-Center integriert, wo sie schwerpunktmäßig außerhalb der Geschäftszeiten Servicefragen beantwortet.

Linda bietet offenkundig die Dialogkompetenz, die Numi fehlt, und sie gehört zur Sparkassen-Familie. Das waren für die Sparkasse Marburg-Biedenkopf zwei gute Gründe, an das Sparkassen-Finanzportal mit dem Anliegen heranzutreten, Numi und Linda zusammenzubringen, in der Erwartung, dass Numi mit Lindas Hilfe den Kunden der Sparkasse im Dialog flexibler und kompetenter helfen kann.

Im Zusammenspiel mit Linda sollte Numi die Fähigkeit bekommen, Fragen, deren Beantwortung sparkassenspezifisches Know-how erfordert, erfolgreich zu behandeln. Hierfür sollte Numi Linda als externe Kompetenzquelle nutzen und selbst als Frontend fungieren, das in einem gesprochenen Dialog Kundenfragen entgegennimmt, diese im Hintergrund an Linda weiterreicht und schließlich Lindas Antwort an den Kunden weitergibt (vergleiche Abbildung 2).

 

Im Zusammenspiel mit Linda soll Numi die Fähigkeit bekommen, sparkassenspezifische Fragen zu beantworten.

 

Das Anliegen der Sparkasse wurde vom Sparkassen-Finanzportal grundsätzlich positiv aufgenommen. Nach diversen Konsultationen, internen Machbarkeitsuntersuchungen und der Erledigung notwendiger Formalitäten kam die Kooperation im Sommer 2020 zustande.

Im Rahmen dieser Kooperation hostet das SFP für die Sparkasse Marburg-Biedenkopf entgeltlich eine Instanz des Linda-Chatbots mit einem eigenen Kanal „Pepper“, über den eingehende Anfragen des Roboters beantwortet werden. Außerdem gewährt sie den Entwicklern der Sparkasse Zugang zu einem webbasierten Chatbot-Editor, über den Antworten von Linda für den Pepper-Kanal angepasst werden können.

Mit Menschen sprechen

Denn es existierten die gleichen Herausforderungen, die auch für den ebenfalls auf Linda basierenden „SFP Sparkassen Service Skill“ für Amazon Alexa und Google Assistant gemeistert werden mussten: Numi spricht mit dem Menschen, deshalb müssen sich seine Antworten wie ein gesprochener Dialogbeitrag anhören und nicht wie ein abgelesener Text.

Entsprechend müssen sie generell kürzer sowie lexikalisch und strukturell weniger komplex ausfallen, damit der menschliche Zuhörer den Ausführungen des Roboters gut folgen kann. Eingebettete mediale Elemente sind aus der gesprochenen Antwort herauszufiltern, können jedoch begleitend auf dem Tablet-Bildschirm des Roboters angezeigt werden.

Um Zugang zur eingerichteten Linda-Instanz zu erhalten, stand zunächst die Entwicklung einer speziellen Programmierschnittstelle durch das SFP im Raum. Es stellte sich jedoch schnell heraus, dass eine solche Schnittstelle nicht erforderlich war.

Datentausch in beide Richtungen

Vielmehr wurde die Verbindung zwischen Roboter und Linda-Chatbot-Server über ein Websocket hergestellt. Dabei handelt es sich um eine Verbindung zwischen einem Client (hier: eine Roboter-Anwendung) und einem Server (hier: der Linda-Chatbot-Server), die vom Client einmalig geöffnet wird und dann von Client und Server genutzt werden kann, um in beiden Richtungen Daten auszutauschen.

Das SFP stellte den Websocket-Server zur Verfügung und lieferte den Entwicklern der Sparkasse die für den Verbindungsaufbau notwendigen Informationen (Web-Adresse und Zugangsdaten) sowie detaillierte Angaben zu Syntax und Semantik der an den Server zu sendenden Daten und der vom Server zurückgelieferten Antwort. Wie in Abbildung 2 dargestellt, werden die zwischen Roboter-Anwendung und Linda-Server gesendeten und empfangenen Daten im JSON-Format enkodiert.

Als Client entwickelte die Sparkasse Marburg-Biedenkopf eine eigene Android-App auf der aktuellen Pepper-Betriebssystemplattform NAOqi 2.9. Diese App erhielt den Arbeitstitel „Multichat“, weil sie mehrere Chatbots für den Dialog mit dem menschlichen Gesprächspartner integriert.

Aktuell läuft einer dieser Chatbots lokal auf dem Roboter. Seine Aufgabe ist die Unterstützung von allgemeinen Dialogthemen wie Begrüßung, Datum und Uhrzeit oder persönliche Fragen an den Roboter.

Der zweite Chatbot ist Linda, der wie oben beschrieben über eine Websocket-Verbindung eingebunden wird und die Dialogkompetenz für Fragen zu sparkassenspezifischen Themen liefert. Darüber hinaus können weitere Chatbots hinzugefügt werden. Erfolgreich eingebunden wurden bereits Google Dialogflow und IBM Watson Assistant.

Auch Server brauchen „Lebenszeichen“

Auf dem Weg hin zur erfolgreichen Integration von Linda mussten die Entwickler der Sparkasse einige Hürden nehmen. Ein Problem bestand in der Aufrechterhaltung der Websocket-Verbindung. Im praktischen Einsatz muss die Verbindung mit dem Chatbot-Server über Stunden zur Verfügung stehen. Damit der Server die Verbindung nicht vorzeitig schließt, wurde eine Ping-Lösung implementiert, die in regelmäßigen Abständen ein „Lebenszeichen“ des Clients an den Server schickt.

Außerdem besteht in der Praxis das Risiko, dass während des Betriebs der App der Internet-Zugang des Roboters und damit die Verbindung zum Linda-Chatbot-Server abbricht. Damit in dieser Situation die App nicht von Hand neu gestartet werden muss, wurde ein Code geschrieben, der bei Unterbrechung der Internet-Verbindung automatisch versucht, die Socket-Verbindung wiederherzustellen.

Ein weiteres Problem war, dass etliche von Linda gelieferte Antworten Auszeichnungen für Hyperlinks und andere Bildschirmelemente enthielten, die für die gesprochene Performance des Roboters nicht geeignet waren. Die implementierte Lösung filtert unerwünschte Elemente aus der Antwort heraus. Einige dieser Elemente werden eliminiert, während Bild- und Video-Links behalten werden, um die verlinkten Inhalte parallel zur gesprochenen Antwort des Roboters auf dem Tablet-Bildschirm anzeigen zu können.

Proaktive Gesprächseröffnung durch den Robo

Nach Lösung dieser Probleme wurde die Multichat-App um einige Features erweitert. Zum einen führt der Roboter, wenn er gerade nicht mit einem Menschen spricht, sogenannte Idle-Animationen aus, um die Illusion seiner Lebendigkeit zu verstärken. Außerdem wurde die Fähigkeit integriert, einen potenziellen Gesprächspartner proaktiv anzusprechen, um eine Konversation zu initiieren.

Schließlich wird zurzeit an der parallelen Darstellung von in Lindas Antworten eingebetteten Bild- und Videoinhalten auf dem Tablet-Bildschirm des Roboters gearbeitet.

Die erfolgreiche Implementierung der Multichat-App demonstriert die Machbarkeit und die Synergien der Integration von sozialen Robotern und Chatbots. Der Sparkassen-Roboter Numi profitiert von der Dialogkompetenz, die der Sparkassen-Chatbot Linda bietet. Linda wiederum profitiert davon, dass die Entwickler der Sparkasse Antworten des Chatbots überarbeiten und korrigieren.

Andreas Bartsch, Vorstandsvorsitzender der Sparkasse Marburg-Biedenkopf, freut sich über die erweiterte Dialogfähigkeit des Roboters. „Numi Pepper ist für uns ein Symbol der Digitalisierung und wirkt gleichermaßen nach intern wie nach extern. Wir wollen herausfinden, ob humanoide Roboter einen wirklichen Mehrwert bieten können.

Dialogfähigkeit ist dazu eine zwingende Voraussetzung.“ Und Tobias Ullersperger, Produktmanager bei der SFP, ergänzt: „Tolles Projekt. Es macht Spaß zu sehen, wie Linda Neuland erobert und dabei unterstützt, zukunftsweisende Ideen zu erproben.“

 

Dies ist ein Artikel der S-Evidenzstelle.

 

Als die SparkassenZeitung im Februar berichtete, hieß es schon: „Wenn Michael Frantz von der Sparkasse Marburg-Biedenkopf heute auf den 121 Zentimeter großen Numi Pepper schaut und sich dessen Zukunft in einer Filiale vor Augen führt, dann sieht er einen freundlich wirkenden Maschinenmenschen, der auf Kunden im Empfangsbereich zugeht, sie begrüßt und ihnen auf Wunsch weiterhilft.“

Der SFP-Chat-Experte Tobias Ullersperger hatte ebenfalls bereits darüber berichtet, wie der Chatbot Linda erweitert wurde. Dieser erläutert, wie das Zusammenspiel zweier Technologien, Spracherkennung sowie Text- und Inhaltserkennung, beim Chatbot Linda funktioniert und wo es eingesetzt werden kann und wird.

15. September 2020