180 research outputs found
Biased Embeddings from Wild Data: Measuring, Understanding and Removing
Many modern Artificial Intelligence (AI) systems make use of data embeddings,
particularly in the domain of Natural Language Processing (NLP). These
embeddings are learnt from data that has been gathered "from the wild" and have
been found to contain unwanted biases. In this paper we make three
contributions towards measuring, understanding and removing this problem. We
present a rigorous way to measure some of these biases, based on the use of
word lists created for social psychology applications; we observe how gender
bias in occupations reflects actual gender bias in the same occupations in the
real world; and finally we demonstrate how a simple projection can
significantly reduce the effects of embedding bias. All this is part of an
ongoing effort to understand how trust can be built into AI systems.Comment: Author's original versio
Towards Socially Responsible AI: Cognitive Bias-Aware Multi-Objective Learning
Human society had a long history of suffering from cognitive biases leading
to social prejudices and mass injustice. The prevalent existence of cognitive
biases in large volumes of historical data can pose a threat of being
manifested as unethical and seemingly inhuman predictions as outputs of AI
systems trained on such data. To alleviate this problem, we propose a
bias-aware multi-objective learning framework that given a set of identity
attributes (e.g. gender, ethnicity etc.) and a subset of sensitive categories
of the possible classes of prediction outputs, learns to reduce the frequency
of predicting certain combinations of them, e.g. predicting stereotypes such as
`most blacks use abusive language', or `fear is a virtue of women'. Our
experiments conducted on an emotion prediction task with balanced class priors
shows that a set of baseline bias-agnostic models exhibit cognitive biases with
respect to gender, such as women are prone to be afraid whereas men are more
prone to be angry. In contrast, our proposed bias-aware multi-objective
learning methodology is shown to reduce such biases in the predictied emotions
Language (Technology) is Power: A Critical Survey of "Bias" in NLP
We survey 146 papers analyzing "bias" in NLP systems, finding that their
motivations are often vague, inconsistent, and lacking in normative reasoning,
despite the fact that analyzing "bias" is an inherently normative process. We
further find that these papers' proposed quantitative techniques for measuring
or mitigating "bias" are poorly matched to their motivations and do not engage
with the relevant literature outside of NLP. Based on these findings, we
describe the beginnings of a path forward by proposing three recommendations
that should guide work analyzing "bias" in NLP systems. These recommendations
rest on a greater recognition of the relationships between language and social
hierarchies, encouraging researchers and practitioners to articulate their
conceptualizations of "bias"---i.e., what kinds of system behaviors are
harmful, in what ways, to whom, and why, as well as the normative reasoning
underlying these statements---and to center work around the lived experiences
of members of communities affected by NLP systems, while interrogating and
reimagining the power relations between technologists and such communities
Methods for detecting and mitigating linguistic bias in text corpora
Im Zuge der fortschreitenden Ausbreitung des Webs in alle Aspekte des täglichen
Lebens wird Bias in Form von Voreingenommenheit und versteckten Meinungen zu einem
zunehmend herausfordernden Problem. Eine weitverbreitete Erscheinungsform ist Bias in
Textdaten. Um dem entgegenzuwirken hat die Online-Enzyklopädie Wikipedia das Prinzip
des neutralen Standpunkts (Englisch: Neutral Point of View, kurz: NPOV) eingefĂĽhrt,
welcher die Verwendung neutraler Sprache und die Vermeidung von einseitigen oder subjektiven
Formulierungen vorschreibt. Während Studien gezeigt haben, dass die Qualität von
Wikipedia-Artikel mit der Qualität von Artikeln in klassischen Enzyklopädien vergleichbar
ist, zeigt die Forschung gleichzeitig auch, dass Wikipedia anfällig für verschiedene Typen
von NPOV-Verletzungen ist. Bias zu identifizieren, kann eine herausfordernde Aufgabe sein,
sogar fĂĽr Menschen, und mit Millionen von Artikeln und einer zurĂĽckgehenden Anzahl von
Mitwirkenden wird diese Aufgabe zunehmend schwieriger. Wenn Bias nicht eingedämmt
wird, kann dies nicht nur zu Polarisierungen und Konflikten zwischen Meinungsgruppen
fĂĽhren, sondern Nutzer auch negativ in ihrer freien Meinungsbildung beeinflussen. Hinzu
kommt, dass sich Bias in Texten und in Ground-Truth-Daten negativ auf Machine Learning
Modelle, die auf diesen Daten trainiert werden, auswirken kann, was zu diskriminierendem
Verhalten von Modellen fĂĽhren kann.
In dieser Arbeit beschäftigen wir uns mit Bias, indem wir uns auf drei zentrale Aspekte
konzentrieren: Bias-Inhalte in Form von geschriebenen Aussagen, Bias von Crowdworkern
während des Annotierens von Daten und Bias in Word Embeddings Repräsentationen.
Wir stellen zwei Ansätze für die Identifizierung von Aussagen mit Bias in Textsammlungen
wie Wikipedia vor. Unser auf Features basierender Ansatz verwendet Bag-of-Word
Features inklusive einer Liste von Bias-Wörtern, die wir durch das Identifizieren von Clustern
von Bias-Wörtern im Vektorraum von Word Embeddings zusammengestellt haben.
Unser verbesserter, neuronaler Ansatz verwendet Gated Recurrent Neural Networks, um
Kontext-Abhängigkeiten zu erfassen und die Performance des Modells weiter zu verbessern.
Unsere Studie zum Thema Crowd Worker Bias deckt Bias-Verhalten von Crowdworkern
mit extremen Meinungen zu einem bestimmten Thema auf und zeigt, dass dieses Verhalten
die entstehenden Ground-Truth-Label beeinflusst, was wiederum Einfluss auf die Erstellung
von Datensätzen für Aufgaben wie Bias Identifizierung oder Sentiment Analysis hat. Wir
stellen Ansätze für die Abschwächung von Worker Bias vor, die Bewusstsein unter den
Workern erzeugen und das Konzept der sozialen Projektion verwenden.
Schließlich beschäftigen wir uns mit dem Problem von Bias in Word Embeddings,
indem wir uns auf das Beispiel von variierenden Sentiment-Scores fĂĽr Namen konzentrieren.
Wir zeigen, dass Bias in den Trainingsdaten von den Embeddings erfasst und an
nachgelagerte Modelle weitergegeben wird. In diesem Zusammenhang stellen wir einen
Debiasing-Ansatz vor, der den Bias-Effekt reduziert und sich positiv auf die produzierten
Label eines nachgeschalteten Sentiment Classifiers auswirkt
- …