Emotion Classification with Natural Language Processing (Comparing BERT and Bi-Directional LSTM models for use with Twitter conversations)

We have constructed a novel neural network architecture called CWE-LSTM (concatenated word-emoji bidirectional long short-term memory) for classify- ing emotions in Twitter conversations. The architecture is based on a combina- tion of word and emoji embeddings with domain specificity in Twitter data. Its performance is compared to a current state of the art natural language process- ing model from Google, BERT. We show that CWE-LSTM is more successful at classifying emotions in Twitter conversations than BERT (F 1 73 versus 69). Fur- thermore, we hypothesize why this type of problem’s domain specificity makes it a poor candidate for transfer learning with BERT. This is to further detail the discussion between large, general models and slimmer, domain specific models in the field of natural language processing.Vi har skapat en modell som känner igen vilken underliggande känsla som finns i en konversation på Twitter. För att utvärdera hur bra vår modell är har vi jämfört med BERT, en större modell skapad av Google. Det vetenskapliga fält som handlar om hur datorer behandlar text heter natural language process- ing (NLP). Ett vanligt problem inom NLP är hur datorer ska förstå olika mänskliga känslor. I vår uppsats skapar vi en modell (CWE-LSTM) som tittar på konversationer från Twitter. Modellen har som mål att bedöma vilken underliggande känsla som finns i konversationen. En trend som fått fotfäste inom NLP kallas transfer learning. Här används en stor färdig- byggd modell som anpassas till problemet man jobbar med. För att se hur bra modell vi har konstruerat, jämför vi den med transfer learning- modellen BERT, från Google. Både Googles BERT och vår modell har samma mål: en textsträng matas in och sannolikheter för vilken känsla som finns i textsträngen kommer ut. En fördel med BERT är att vi knappt behöver bearbeta data. Det som behövs är att finjustera BERT till vårt problem, vilket Google gjort så lätt som möjligt. Detta står i kontrast till CWE- LSTM som vi skapar från grunden. Det första som behövs när man bygger en modell som ska analy- sera text, är ett sätt för datorn att förstå texten. Med hjälp av word embeddings kan vi repre- sentera ord så att vår modell kan läsa dem. Efter- som Emojis är så vanliga på Twitter har vi också en speciell representation för dessa. Med hjälp av maskininlärningsmetoder kan vi sedan konstruera vår modell utan att beskriva exakt vad den ska leta efter. Modellen lär sig själv att hitta vad som är viktigt i konversationerna för att bestämma den underliggande känslan. För att utvärdera hur bra modellerna fungerar, testas de på konversationer de inte tidigare sett. Vår slutsats är att CWE-LSTM lyckas bättre än BERT när det gäller att klassificera Twit- terkonversationer. Det kan bero på olika saker. Framförallt så lär sig BERT hur språk hänger ihop på en annan plats än Twitter. Poängen med transfer learning-modeller är att de ska vara tillämpningsbara på många typer av problem. Trasslet med chatkonversationer är att de är lite specifika, exempelvis är det sällan korrekt gram- matik. I vårt fall är det därför bättre att an- vända CWE-LSTM. Slutsatsen är att det är vik- tigt att ha kännedom om sitt problem innan tillvä- gagångssättet bestäms. Förhoppningsvis ger vår uppsats en bättre bild av vilka modeller som kan tillämpas på vilket problem