Assessing the usability of raw machine translation output: A user-centered study using eye tracking

This paper reports on the results of a project that aimed to investigate the usability of raw machine translated technical support documentation for a commercial online file storage service. Adopting a user-centred approach, we utilize the ISO/TR 16982 definition of usability - goal completion, satisfaction, effectiveness, and efficiency – and apply eye-tracking measures shown to be reliable indicators of cognitive effort, along with a post-task questionnaire. We investigated these measures for the original user documentation written in English and in four target languages: Spanish, French, German and Japanese, all of which were translated using a freely available online statistical machine translation engine. Using native speakers for each language, we found several significant differences between the source and MT output, a finding that indicates a difference in usability between well-formed content and raw machine translated content. One target language in particular, Japanese, was found to have a considerably lower usability level when compared with the original English

Incorporating International Collaboration and Usability Evaluation Into a Technical Communication Course

This chapter describes how globalization and rapid technological change are transforming technical communication both in academia and the corporate world. Products and technologies are used by a variety of user groups, and usability has become an important requirement. The transnational pedagogical collaboration, the Trans-Atlantic and Pacific Project, has taken up the gauntlet by providing students with a simulated professional environment and sharing insights into collaborative writing, translation, and usability evaluation. By reflecting on previous studies and the author´s experiences, this article explores issues relevant to teachers when incorporating international collaboration and usability evaluation into a technical communication course. It describes international student collaboration regarding usability practices and discusses the benefits and challenges of usability evaluation as part of international collaboration. It concludes by suggesting guidelines for teachers to facilitate international collaboration and usability evaluation in higher education setting.fi=vertaisarvioitu|en=peerReviewed

Kulturelle Unterschiede bei der Benutzung und Bewertung von Websites am Beispiel von Deutschland und Taiwan

Die vorliegende Magisterarbeit behandelt den Einfluss der Kultur der Internetnutzer bei der Benutzung und Bewertung von Websites. Insbesondere werden Unterschiede zwischen deutschen und taiwanesischen Nutzern untersucht. Auf Basis der relevanten Grundlagen zur interkulturellen Wirkung von Informationssystemen wurde ein Benutzertest entwickelt. Die Ergebnisse der Tests in Deutschland und Taiwan werden ausführlich vorgestellt und diskutiert.The following M.A. thesis deals with the influence of user culture as it pertains to individual usage and evaluation of web sites. In particular it examines differences between German and Taiwanese users. Based upon the relevant fundamentals of the intercultural effects of information systems, a user test was developed and subsequently conducted in Germany and Taiwan. The results are presented and discussed in detail

Kulturelle Unterschiede bei der Benutzung und Bewertung von Websites am Beispiel von Deutschland und Taiwan

Die vorliegende Magisterarbeit behandelt den Einfluss der Kultur der Internetnutzer bei der Benutzung und Bewertung von Websites. Insbesondere werden Unterschiede zwischen deutschen und taiwanesischen Nutzern untersucht. Auf Basis der relevanten Grundlagen zur interkulturellen Wirkung von Informationssystemen wurde ein Benutzertest entwickelt. Die Ergebnisse der Tests in Deutschland und Taiwan werden ausführlich vorgestellt und diskutiert.The following M.A. thesis deals with the influence of user culture as it pertains to individual usage and evaluation of web sites. In particular it examines differences between German and Taiwanese users. Based upon the relevant fundamentals of the intercultural effects of information systems, a user test was developed and subsequently conducted in Germany and Taiwan. The results are presented and discussed in detail

Proceedings from NordiCHI 2008 Workshop Sunday October 19, 2008

This paper raises themes that are seen as some of the challenges facing the emerging practice and research field of Human Work Interaction Design. The paper has its offset in the discussions and writings that have been dominant within the IFIP Working Group on Human Work Interaction Design (name HWID) through the last two and half years since the commencement of this Working Group. The paper thus provides an introduction to the theory and empirical evidence that lie behind the combination of empirical work studies and interaction design. It also recommends key topics for future research in Human Work Interaction Design

Lokalisierung und Internationalisierung von Fahrerinformationssystemen

Ein Produkt, das auf verschiedenen Märkten eingeführt werden soll, kann bereits während der Entwicklung so gestaltet werden, dass eine nachfolgende Anpassung an die jeweiligen Märkte, die sogenannte "Lokalisierung", möglichst einfach durchgeführt werden kann. Diese Art der Produktentwicklung wird als "Internationalisierung" bezeichnet. In der vorliegenden Arbeit wurde untersucht, inwieweit kulturelle Unterschiede bei der Verwendung der Benutzeroberfläche von Fahrerinformationssystemen (FIS) existieren, vor allem in Bezug auf die Menüstruktur. Die dabei ermittelten Daten bildeten anschließend die Grundlage für eine beispielhafte Implementierung eines Systems mit internationalisierter Menüstruktur. Im Rahmen einer Online-Befragung unter BMW-Mitarbeitern in Deutschland, den USA und Japan wurden 47 Funktionen eines Fahrerinformationssystems in Bezug auf die fünf Parameter "Wichtigkeit", "Sichtbarkeit", "Häufigkeit", "sofort einzuschalten" und "Extraknopf" abgefragt. Immerhin 32% aller Funktionen wurden im Hinblick auf die drei Parameter "Wichtigkeit", "Sichtbarkeit" und "Häufigkeit" in mindestens zwei der Länder signifikant unterschiedlich eingeschätzt und 47% im Hinblick auf drei der fünf abgefragten Parameter. Die höchste Anzahl von Unterschieden wurde im Bereich "Kommunikation" festgestellt, gefolgt von "Unterhaltung". Dabei waren stärkere Abweichungen zwischen Japan und USA als zwischen Japan und Deutschland zu erkennen, am ähnlichsten waren die Antworten von Befragten aus Deutschland und den USA. Aus den erhobenen Daten wurden am Beispiel des Moduls "Unterhaltung" landestypische Menüstrukturen für Deutschland, USA und Japan abgeleitet und aus diesen eine allgemeine, den dreien zugrundeliegende Struktur. Diese Struktur wurde formalisiert und mittels Transformationen in die landestypischen Strukturen umgewandelt. Dies wurde mit Hilfe der Programme Extensible Markup Language (XML) für eine strukturierte Darstellung der Daten, Extensible Stylesheet Language Transformations (XSLT) und XML Path Language (Xpath) für das Transformieren eines Dokuments und Scalable Vector Graphics (auf XML basierende Auszeichnungssprache SVG) für das Erzeugen von Vektorgrafiken und Animationen durchgeführt. Damit wurde ein System implementiert, mit dem eine grundlegende Struktur durch Transformationen in eine landesspezifische Version umgewandelt werden konnte. Dadurch wurde unter anderem eine Trennung der Texte und Symbole von der Struktur erreicht, was eine spätere Übersetzung erleichtert und zugleich dafür sorgt, dass die Struktur selbst durch externe Scripte modifizierbar bleibt. So können im Rahmen einer Lokalisierung Änderungen leicht durchgeführt werden, ohne dass der Quellcode selbst geändert werden muss

An Empirical Study of Thinking Aloud Usability Testing from a Cultural Perspective

Usability evaluation methods are widely used to assess and improve the user interface design. This dissertation investigates the thinking aloud usability testing from a cultural perspective. In a test situation, representative users are required to verbalize their thoughts as they perform their tasks while using the system, and an evaluator observes the user’s task performance and comes up with usability problems. The primary goal of a usability test is to find a list of usability problems. In this research, the impacts of evaluators’ and users’ cultural backgrounds on both the result and the process of the thinking aloud usability testing were investigated. Regarding the results of the usability testing, the identified usability problem was the main focus, whereas for the process of testing, the communication between users and evaluators was the main focus. In this dissertation, culture was regarded as cognitive styles and communication orientations. For the theories of thinking aloud, both Ericsson and Simon’s classic model, and Boren and Ramey’s revised model for usability testing were taken into account. Based on the culture theories and thinking aloud models, hypotheses were developed to investigate the evaluators’ identified usability problems in different cultural settings, and themes were put forward to investigate the evaluators’ and users’ communications. In order to investigate the hypotheses and themes, an experimental study was conducted. The experimental design consisted of four independent groups with evaluators and users from similar or different cultures (Danish and Chinese). Empirical data were collected by using background questionnaires, usability problem forms, usability problem lists, video recordings of the testing and interviews. The usability testing software “Morae” was used to record the whole testing, including the faces of the evaluators and users, the screen and keyboard activities. Evaluators’ and users’ communications were analyzed by the behavioural coding and analysis software “Observer XT 8.0” with a well defined coding system. The results of the systematic study of the thinking aloud usability testing in the context of the intra- and inter-cultural usability engineering show that the evaluators’ cultural backgrounds do have some influences on the usability testing; however, the influences are different for the tests with Western and East Asian users. The main findings of this research have implications for both usability research and practice. The methodological approach also gives inspiration for usability evaluation studie