CAN-ROBOTS-READ-EMOTION-BLOG-HEADER
CAN-ROBOTS-READ-EMOTION-BLOG-HEADER

Roboter lesen Emotionen im Text: ein Bericht über ein neues Stimmungsanalysemodell von Hello Ebbot

In jüngster Zeit hat die Notwendigkeit eines automatisierten Stimmungsanalysemodells unter Unternehmen, insbesondere im E-Commerce, zugenommen. Derzeit stehen viele vortrainierte Modelle zur Verfügung, die schnell angewendet werden können. Sie sind jedoch oft nicht völlig frei und unterstützen auch noch nicht die schwedische Sprache – wie Natural Language API von Google. Stimmung für Schwedische Sprachmodul , aber funktioniert nicht gut und scheitert die Tests von unseren kritischen "Richtern" hier bei Hello Ebbot.

Bei Hello Ebbot möchten wir eine Stimmungsanalysefunktionalität für unsere Chatbots. Deshalb haben wir uns entschieden, selbst ein Modell zu trainieren. Es wird sicherlich mehr Zeit brauchen, um Daten zu sammeln, zu trainieren und dann das Modell in die Produktion zu bringen – das ist jedoch kein Problem, denn wir wollen, dass unsere Produkte nicht nur konversationsvirtuelle Assistenten anbieten, sondern auch diejenigen, die ein wenig denken können. Wenn Sie neugierig sind, wie wir ein Modell mit einer durchschnittlichen Genauigkeit von 75 % realisieren und sarkastische Kommentare erkennen können, lesen Sie weiter, um unsere Geheimnisse zu kennen.

Stimmungsanalyse und die Probleme, die sie löst:

Es gibt viele Forschungsarbeiten und Artikel, die Stimmungsanalysen unter Verwendung von professionellen Geschäfts- oder Machine Learning-Begriffen erklären. Wenn Sie nach einer vollständigen Anleitung zur Stimmungsanalyse suchen, empfehlen wir Ihnen, Schauen Sie sich diesen Blog von MonkeyLearn an. Aber hier ist eine süße und einfache Zusammenfassung für Sie: Stimmungsanalyse ist eine Technik zur Verarbeitung von Textdaten, um die verschiedenen Emotionen (positiv, neutral oder negativ) zu klassifizieren, die der Text reflektiert. .

Mit diesem automatisierten Modell wollen wir, dass Ebbot mit Tonalität antwortet, basierend auf den Emotionen der Kunden. Wenn Kunden zum Beispiel wütend sind, würde Ebbot die Negativität in der Nachricht spüren und eine beruhigende Antwort geben. Darüber hinaus können für Business-to-Consumer (B2C)-Unternehmen Feedback zu Kundenservice oder Produktbewertungen von Ebbot gesammelt und analysiert werden. Die Lösungen, die wir im Auge haben, sind derzeit nicht verfügbar, aber wir hoffen, sie so schnell wie möglich in die Anwendung zu bringen.

Der Entwicklungsprozess:

In diesem Abschnitt zeigen wir den technischen Hintergrund des Modells. Es stehen einige Begriffe zum maschinellen Lernen an, wenn Sie also nur sehen möchten, wie sich das Modell verhält, können Sie stattdessen direkt in diesen Abschnitt springen.

Wir begannen mit dem Sammeln von Daten von Trustpilot mit BeautifulSoup Web Scraping Bibliothek. Unser Datensatz enthielt Bewertungen für mehrere berühmte Unternehmen in Schweden, wie Telia und Qliro. Da der Stimmungsklassifier im Grunde nur eine überwachte Lernaufgabe ist ( Datacamp 2020 ), haben wir die Bewertungen basierend auf der Anzahl der Sterne, die jede Bewertung erhalten hatte, gekennzeichnet. Konkret wurden fünf Sterne als "positiv" eingestuft, drei als "neutral" und ein Stern als "negativ".

Der nächste Schritt war zu entscheiden, welche Klassifier wir für diese Aufgabe verwenden würden. Zunächst implementierten wir Den NLTK-Klassifier Multinomial Naive Bayes und erzielten erstaunliche Ergebnisse für positive/negative Analysen. Unser Modell erreichte 92% Genauigkeit und war in der Lage, einige falsch-positive Kommentare zu erkennen.

Wie sich herausstellte, funktionierte das Naive Bayes (NB)-Modell nicht gut, als neutrale Stimmung ins Spiel kam. Tatsächlich hat DatumBox gründliche Forschung mit einigen Klassifikatoren durchgeführt und kam zu dem Schluss, dass NB eine hohe Genauigkeit für die binäre Vorhersage (positiv und negativ), aber viel niedriger für 3-Klassen-Ausgang (positiv, negativ und neutral) gab. 

Das war, als sklearn Support Vector Machine Classifier (SVC) kam, um den Tag zu retten! Inspiriert von einem Projekt eines anderen Machine Learning-Enthusiasten mit IMDB Review und LinearSVC-Pipeline,verwendeten wir auch K-Fold Cross-Validator, um Daten in Zug-/Testsätzen aufzuteilen. Wir haben unseren Datensatz in 10 aufeinanderfolgende Falten anstatt in die standardmäßigen fünf gliedert. Unter den zehn Fachen, die höchste Genauigkeit war 95% und im Durchschnitt gab unser Modell die richtige Vorhersage auf Testsätze 75% der Zeit.

Hier sind ein paar mehrdeutige und/oder sarkastische Kommentare, die unser Modell überraschenderweise analysieren konnte: 

"Danke, dass Sie die schlechtesten der Welt sind, machen Sie es einfach, zu einem Konkurrenten zu wechseln" Negative

(Danke, dass Sie die schlechtesten der Welt sind, machen Sie es einfach, zu einem Konkurrenten zu wechseln)

"Danke für nichts" - Negativ

(Danke für nichts)

"Ich mag Ihr Produkt, aber Sie sind fantastisch schlecht im Kundenservice" Negative

(Ich mag Ihr Produkt, aber Sie sind fantastisch schlecht im Kundenservice)

"Mein soziales Leben ist jetzt ruiniert, weil der Computer, den ich von dir bekam, über den Erwartungen lag!"  • Positiv

(Mein soziales Leben ist ruiniert, weil der Computer, den ich bekam, besser war, als ich erwartet hatte!)

Das sagen die "Richter" aus Ebbot:

Nach anderthalb Monaten war das Modell endlich zum Testen bereit! Wir haben versucht, das Modell mit verschiedenen Arten von Kommentaren in unserem Kopf aufgetaucht und hier sind einige Rückmeldungen vom Team Ebbot: 

"Ich fand mich schlau und forderte den Algorithmus mit sehr kniffligen und zweideutigen Sätzen heraus – aber nach einigen Versuchen war ich erstaunt, wie schwer es war, ihn zu täuschen." – Oliver

"Ich habe schon viele Stimmungsmodelle ausprobiert, aber das ist das erste, das mich denken ließ 'Wow, das funktioniert wirklich!'. Es ist einfach super cool und super nützlich!" – Anders

"Die Genauigkeit lag bisher bei etwa 75 %. Beeindruckendes Zeug!" " Gustav

Auch wenn die Ergebnisse besser waren als unsere Erwartungen, möchten wir dennoch auf einige der Einschränkungen des Modells hinweisen. Zuallererst, die durchschnittliche Genauigkeit ist nur 75% so einige der Kommentare senden gemischte Signale oder sind zu anspruchsvoll, wird das Modell verwirrt. Erwähnenswert ist auch, dass das Modell nur auf schwedischer Sprache funktioniert, daher nur für Chatbots gilt, die Englisch "sprechen". 

Alles in allem ist dies ein spannender Schritt in die richtige Richtung. Die Auswirkungen, was dies für den Kundenservice tun kann, sind sehr vielversprechend. Und wir freuen uns darauf, praktische Anwendungen für das Modell zu entwickeln.

Diesen Beitrag teilen

Teilen auf facebook
Anteil auf linkedin
Teilen auf Twitter
Teilen per E-Mail

Lesen Sie mehr

Rechtschreibfehler in schwedischer Sprache automatisch korrigieren

Da unser NLP-Team von Hello Ebbot verstanden hat, dass Tippfehler einer der Gründe sein können, warum Ebbot nicht die richtige Antwort geben kann, hat es beschlossen, eine neue Funktion zur Autokorrektur von Rechtschreibfehlern zu entwickeln, insbesondere für die schwedische Sprache! Unser Rechtschreibkorrekturer berücksichtigt nicht nur den Kontext, um eine bessere Korrektur zu ermöglichen, sondern hat auch eine feste Leistung.

MEHR LESEN »