Paraphrase-Fragen auf Schwedisch mit T5

Nach einem Monat der Vorbereitung des Datensatzes und der Schulung präsentieren wir Ihnen stolz ein T5-Modell (Text-To-Text Transfer Transfromer), das alle Fragen in schwedischer Sprache umschreibt. Sie erinnern sich vielleicht, dass wir bereits in der Vergangenheit ein ähnliches Modell,S-BERT, entwickelt haben. Die Verwendung von T5 unterscheidet sich jedoch völlig von unserem vorherigen Ansatz. Denn Fragen werden durch das Modell T5 selbst generiert, während S-BERT nur als "Werkzeug" funktioniert, um ähnliche Fragen zu finden, die von Menschen geschrieben wurden. Indem wir aus paraphrasierten Fragen des schwedischen T5 lernen, beschränken wir uns nicht mehr nur auf die Themen in unserer aktuellen Fragendatenbank.

Was ist T5?

T5 wurde erstmals in dem Papier Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer vorgestellt. Es handelt sich um ein Encoder-Decoder-Modell, das auf einer Multi-Task-Mischung aus unbeaufsichtigten und überwachten Aufgaben vortrainiert wird, für die jede Aufgabe in ein Text-zu-Text-Format konvertiert wird. T5 ist in der Lage, eine Vielzahl von Aufgaben wie Übersetzung, Zusammenfassung und ParaphraseGenerierung durchzuführen. Derzeit stehen viele vortrainierte Modelle zur Verfügung, die Sie direkt oder feinabstimmend für Ihre spezifischen Aufgaben verwenden können.

Implementierung - Schritt 1: Übersetzen des Datensatzes ins Schwedische

Um ein T5-Modell für die bedingte Generierung zu trainieren, benötigen wir das Quora-Duplikat-Fragen-Dataset. Leider gibt es derzeit keinen Datensatz auf Schwedisch, wir haben uns entschieden, das Übersetzungsmodell der Universität Helsinki zu verwenden, um ein Python-Skript zu schreiben und den Datensatz aus dem Englischen ins Schwedische zu übersetzen. Der gesamte Übersetzungsprozess dauerte etwa fünf Tage für das Training und die Validierung des Datensatzes mit insgesamt 298.528 Sätzen. 

Umsetzung - Schritt 2: Schulung T5 zur Paraphrase von Fragen auf Schwedisch

Dank Ramsri, einem Data Scientist aus Indien und seinem ausführlichen Tutorial,konnten wir aus seinem Trainingsskript lernen und an unserem eigenen T5-Paraphrasenmodell für die schwedische Sprache arbeiten. Wir haben Google Colab verwendet und ihre Ressourcen wie hohen RAM und GPU genutzt, um die Trainingszeit zu optimieren. Deshalb brauchten wir nur einen Tag, um den Trainingsprozess abzuschließen.

Der In-Training-Prozess in einem Colab-Notebook

Verwenden von schwedischem T5 zur Paraphrase von Fragen

Genug von den langweiligen technischen Ausstattungen, lassen Sie uns ihnen jetzt einige Beispiele für die Leistung des Modells zeigen. Bitte beachten Sie, dass die Phrasen vom Modell selbst generiert werden, so dass es grammatikalische Fehler oder zufällige Wortkombinationen in einigen Sätzen 👀

t5-Beispiel2
Beispiel 1: Die Frage übersetzt in "Wo kann ich meine Rechnung sehen?"
t5-Beispiel
Beispiel 2: Die Frage übersetzt in "Wie sieht Ihre Öffnungszeiten aus?"

Auch wenn die Leistung dieses Modells nicht absolut verblüffend ist und immer noch grammatikalische Fehler sowie Probleme mit Wortreihenfolgen hat, können wir immer noch aus den Sätzen lernen, die es erzeugt, und haben eine größere Vielfalt an Beispielphrasen beim Training eines Chatbots. Nichtsdestotrotz hoffen wir, T5 mit S-BERT zu integrieren, um dem Customer Implementation Team und unseren Kunden zu helfen, mehr Zeit durch Unterstützung während des Schulungsprozesses zu sparen.

Sell-Ebbot-Rosa-background-chatbot

Neugierig auf Ebbot?

Wenn Sie mehr darüber erfahren möchten, wie Ebbot – ein hilfsbereiter digitaler Mitarbeiter – Ihnen helfen kann, dann treffen wir uns und sprechen Sie darüber! Alles, was Sie tun müssen, ist auf die Schaltfläche unten 👇

Diesen Beitrag teilen

Teilen auf facebook
Anteil auf linkedin
Teilen auf Twitter
Teilen per E-Mail

Lesen Sie mehr

Sichere persönliche Daten mit hello Ebbots Spülmaschine

Sie fragen sich, ob es sicher ist, Ihre Informationen mit Ebbot zu teilen? Nun, Sie können Sich jetzt wohlfühlen, da wir Ihnen versichern, dass Ihre persönlichen Daten mit der speziellen Spülmaschine von Hello Ebbot absolut sicher sind! Wie funktioniert diese Spülmaschine und wie haben wir es möglich gemacht, können Sie fragen? Bitte lesen Sie weiter und wir beantworten alle Ihre Fragen 👀

MEHR LESEN »