Dehumanization, Hate Speech, and Violence in Right-Wing Extremist Environments

On November 24, 2021, Dr. Lisa Kaati, senior researcher at the Swedish Defence Research Agency, presented Dehumanization, Hate Speech, and Violence in Right-Wing Extremist Environments at the 2021 CASIS West Coast Security Conference. The presentation was followed by a group panel for questions and answers. Main discussion topics included extremists’ use of social media to justify and incite violence

Reduction Techniques for Finite (Tree) Automata

Finite automata appear in almost every branch of computer science, for example in model checking, in natural language processing and in database theory. In many applications where finite automata occur, it is highly desirable to deal with automata that are as small as possible, in order to save memory as well as excecution time. Deterministic finite automata (DFAs) can be minimized efficiently, i.e., a DFA can be converted to an equivalent DFA that has a minimal number of states. This is not the case for non-deterministic finite automata (NFAs). To minimize an NFA we need to compute the corresponding DFA using subset construction and minimize the resulting automaton. However, subset construction may lead to an exponential blow-up in the size of the automaton and therefore even if the minimal DFA may be small, it might not be feasible to compute it in practice since we need to perform the expensive subset construction. To aviod subset construction we can reduce the size of an NFA using heuristic methods. This can be done by identifying and collapsing states that are equal with respect to some suitable equivalence relation that preserves the language of the automaton. The choice of an equivalence relation is a trade-off between the desired amount of reduction and the computation time since the coarser a relation is, the more expensive it is to compute. This way we obtain a reduction method for NFAs that is useful in practice. In this thesis we address the problem of reducing the size of non-deterministic automata. We consider two different computation models: finite tree automata and finite automata. Finite automata can be seen as a special case of finite tree automata and all of the previously mentioned results concerning finite automata are applicable to tree automata as well. For non-deterministic bottom-up tree automata, we present a broad spectrum of different relations that can be used to reduce their size. The relations differ in their computational complexity and reduction capabilities. We also provide efficient algorithms to compute the relations where we translate the problem of computing a given relation on a tree automaton to the problem of computing the relation on a finite automaton. For finite automata, we have extended and re-formulated two algorithms for computing bisimulation and simulation on transition systems to operate on finite automata with alphabets. In particular, we consider a model of automata where the labels are encoded symbolically and we provide an algorithm for computing bisimulation on this partial symbolic encoding

Reduction Techniques for Finite (Tree) Automata

Finite automata appear in almost every branch of computer science, for example in model checking, in natural language processing and in database theory. In many applications where finite automata occur, it is highly desirable to deal with automata that are as small as possible, in order to save memory as well as excecution time. Deterministic finite automata (DFAs) can be minimized efficiently, i.e., a DFA can be converted to an equivalent DFA that has a minimal number of states. This is not the case for non-deterministic finite automata (NFAs). To minimize an NFA we need to compute the corresponding DFA using subset construction and minimize the resulting automaton. However, subset construction may lead to an exponential blow-up in the size of the automaton and therefore even if the minimal DFA may be small, it might not be feasible to compute it in practice since we need to perform the expensive subset construction. To aviod subset construction we can reduce the size of an NFA using heuristic methods. This can be done by identifying and collapsing states that are equal with respect to some suitable equivalence relation that preserves the language of the automaton. The choice of an equivalence relation is a trade-off between the desired amount of reduction and the computation time since the coarser a relation is, the more expensive it is to compute. This way we obtain a reduction method for NFAs that is useful in practice. In this thesis we address the problem of reducing the size of non-deterministic automata. We consider two different computation models: finite tree automata and finite automata. Finite automata can be seen as a special case of finite tree automata and all of the previously mentioned results concerning finite automata are applicable to tree automata as well. For non-deterministic bottom-up tree automata, we present a broad spectrum of different relations that can be used to reduce their size. The relations differ in their computational complexity and reduction capabilities. We also provide efficient algorithms to compute the relations where we translate the problem of computing a given relation on a tree automaton to the problem of computing the relation on a finite automaton. For finite automata, we have extended and re-formulated two algorithms for computing bisimulation and simulation on transition systems to operate on finite automata with alphabets. In particular, we consider a model of automata where the labels are encoded symbolically and we provide an algorithm for computing bisimulation on this partial symbolic encoding

Samtalstonen i sociala medier

Lisa Kaati diskuterar hur man med hjälp av nya tekniker kan identifiera toxiskt språk för att skapa en mer anständig samtalston på sociala medier. Hon konstaterar att internet erbjuder fantastiska möjligheter för alla att delta i diskussioner när som helst och om vad som helst. Men alltför ofta präglas samtalsklimatet av toxiskt språk. Begreppet används för att beskriva kommunikation som förgiftar samtalsklimatet i sociala medier. Det kan vara kommunikation som är förbjuden i lag (hets mot folkgrupp, förtal) men också andra former av kränkningar som nedsättande tilltal, respektlöshet eller integritetskränkningar. Att upprepade gånger utsättas för toxiska kommentarer innebär en oerhörd påfrestning och kan leda till att man väljer att dra sig tillbaka från det offentliga samtalet. Det kan i sin tur innebära att vissa röster tystnar och att de mer lågmälda och diskuterandesamtalen försvinner. På många av de stora sociala medieplattformarna finns användarvillkor som förbjuder viss typ av kommunikation men det finns också en stor mängd plattformar som inte har några regler för vad som får publiceras så länge det inte bryter mot någon lag. Eftersom många av dessa plattformar finns i USA är det amerikansk lag som gäller.För att hantera mängden av kommunikation har nya tekniker utvecklats för att identifiera toxiskt språk automatiskt. Dessa tekniska lösningar bygger på olika typer av textanalys. Det sker främst genom maskininlärningsbaserade tekniker där datorn själv lär sig att känna igen toxiskt språk. Det kräver i sin tur tillräckligt många och varierade exempel på vad som är toxiskt språk. Idag använder många sociala medieplattformar automatiserade tekniker för att hitta inlägg i kommentarsfält som inte följer användarreglerna. Det har även tagits fram andra verktyg som gör det möjligt att undvika toxiska kommentarer genom att dölja dem eller att varna/förmana den som skriver genom att markera innehåll som kan uppfattas som toxiskt och vara konfliktdrivande.Lisa Kaati framhåller att automatiserade tekniker är nödvändiga i vårt digitala samhälle för att det ska vara möjligt att identifiera toxiskt språk. Samtidigt finns det ett stort behov av att utveckla och förfina metoderna. Vidare krävs medvetenhet om metodernas begränsningar samt om betydelsen av att använda dem på ett ansvarsfullt och etiskt sätt

Samtalstonen i sociala medier

Lisa Kaati diskuterar hur man med hjälp av nya tekniker kan identifiera toxiskt språk för att skapa en mer anständig samtalston på sociala medier. Hon konstaterar att internet erbjuder fantastiska möjligheter för alla att delta i diskussioner när som helst och om vad som helst. Men alltför ofta präglas samtalsklimatet av toxiskt språk. Begreppet används för att beskriva kommunikation som förgiftar samtalsklimatet i sociala medier. Det kan vara kommunikation som är förbjuden i lag (hets mot folkgrupp, förtal) men också andra former av kränkningar som nedsättande tilltal, respektlöshet eller integritetskränkningar. Att upprepade gånger utsättas för toxiska kommentarer innebär en oerhörd påfrestning och kan leda till att man väljer att dra sig tillbaka från det offentliga samtalet. Det kan i sin tur innebära att vissa röster tystnar och att de mer lågmälda och diskuterandesamtalen försvinner. På många av de stora sociala medieplattformarna finns användarvillkor som förbjuder viss typ av kommunikation men det finns också en stor mängd plattformar som inte har några regler för vad som får publiceras så länge det inte bryter mot någon lag. Eftersom många av dessa plattformar finns i USA är det amerikansk lag som gäller.För att hantera mängden av kommunikation har nya tekniker utvecklats för att identifiera toxiskt språk automatiskt. Dessa tekniska lösningar bygger på olika typer av textanalys. Det sker främst genom maskininlärningsbaserade tekniker där datorn själv lär sig att känna igen toxiskt språk. Det kräver i sin tur tillräckligt många och varierade exempel på vad som är toxiskt språk. Idag använder många sociala medieplattformar automatiserade tekniker för att hitta inlägg i kommentarsfält som inte följer användarreglerna. Det har även tagits fram andra verktyg som gör det möjligt att undvika toxiska kommentarer genom att dölja dem eller att varna/förmana den som skriver genom att markera innehåll som kan uppfattas som toxiskt och vara konfliktdrivande.Lisa Kaati framhåller att automatiserade tekniker är nödvändiga i vårt digitala samhälle för att det ska vara möjligt att identifiera toxiskt språk. Samtidigt finns det ett stort behov av att utveckla och förfina metoderna. Vidare krävs medvetenhet om metodernas begränsningar samt om betydelsen av att använda dem på ett ansvarsfullt och etiskt sätt

Så vanligt är toxiskt språk i svenska sociala medier

Även om internet erbjuder fantastiska möjligheter för alla att delta i diskussioner när som helst och var som helst så finns det också baksidor. Ett exempel är när samtalsklimatet blir infekterat av toxiskt språk.

Så vanligt är toxiskt språk i svenska sociala medier

Även om internet erbjuder fantastiska möjligheter för alla att delta i diskussioner när som helst och var som helst så finns det också baksidor. Ett exempel är när samtalsklimatet blir infekterat av toxiskt språk.

Vem är det som hatar på nätet?

Nazar Akrami och Lisa Kaati beskriver utifrån psykologisk forskning vad som utmärker de personer som hatar på nätet. De konstaterar att näthat kan ses som ett sätt att ge uttryck för fördomar, det vill säga att nedvärdera en individ utifrån dennes grupptillhörighet. Fördomsfullhet kan förklaras utifrån faktorer som har med individens omgivning att göra, som grupptillhörighet och stereotypa uppfattningar om en grupp eller individ. Dock kan närvaron av en social norm mot fördomsfullhet bidra till att blockera utrymmet att utrycka fördomar även om individen inte blir mindre fördomsfull i sitt tankesätt. Fördomar kan också förklaras utifrån individens personlighet. Här finns forskning som visar att individer med låg grad av öppenhet, vänlighet och utåtriktning har större benägenhet att nedvärdera individer som inte tillhör den egna gruppen, särskilt minoritetsgrupper ellergrupper med låg social status. Forskning visar även att individer som skriver hatkommentarer kännetecknas av en hög grad av mörk personlighet, ett samlingsnamn för egenskaper som bristande empatisk förmåga, manipulerande, narcissism och cynism.Det är endast en liten del av alla internetanvändare som hotar, hatar och kränker och endast ett fåtal individer som står för den allra största delen av de hatiska kommentarerna. En majoritet av dem som ligger bakom hatkommentarer i digitala miljöer verkar vara medelålders eller äldre män. När forskare sökt analysera personligheten hos personer som skriver texter med hatfulla kommentarer visade det att de hade signifikant lägre medelvärden i vänlighet, öppenhet och utåtriktning och att de hade större likheter med varandra än med de som inte uttryckte hat. Resultaten kan tyckas nedslående eftersom förekomsten av fördomar och stereotypa uppfattningar är vanliga även utanför nätet och eftersom det är svårt att förändra människors personlighet. Men Nazar Akrami och Lisa Kaati konstaterar samtidigt att det är en förhållandevis liten grupp som ligger bakom flertalet hatfulla kommentar. Man knyter också förhoppningar till de tekniska metoder som kan göra en hel del digitala miljöer relativt fria från hat. Men framför allt lyfter de betydelsen av att även söka etablera normer som vi har i den fysiska världen i det digitala rummet. En av orsakerna till att trakasserier ofta sker på sociala medier och nätforum är den anonymitet som många av dessa forum erbjuder. Det gör att man kan åsidosätta sociala normeroch säga mer extrema saker än vad man skulle göra ansikte mot ansikte. En stark social norm skulle med stor sannolikhet bidra till att höja tröskeln för att uttrycka hat och hot och bidra till att minska betydelsen av andra komponenter, som grupptillhörighet, personlighet och stereotypa uppfattningar