Wicked Problems and Gnarly Results: Reflecting on Design and Evaluation Methods for Idiosyncratic Personal Information Management Tasks

This paper is a case study of an artifact design and evaluation process; it is a reflection on how right thinking about design methods may at times result in sub-optimal results. Our goal has been to assess our decision making process throughout the design and evaluation stages for a software prototype in order to consider where design methodology may need to be tuned to be more sensitive to the domain of practice, in this case software evaluation in personal information management. In particular, we reflect on design methods around (1) scale of prototype, (2) prototyping and design process, (3) study design, and (4) study population

Information scraps: how and why information eludes our personal information management tools

In this paper we describe information scraps -- a class of personal information whose content is scribbled on Post-it notes, scrawled on corners of random sheets of paper, buried inside the bodies of e-mail messages sent to ourselves, or typed haphazardly into text files. Information scraps hold our great ideas, sketches, notes, reminders, driving directions, and even our poetry. We define information scraps to be the body of personal information that is held outside of its natural or We have much still to learn about these loose forms of information capture. Why are they so often held outside of our traditional PIM locations and instead on Post-its or in text files? Why must we sometimes go around our traditional PIM applications to hold on to our scraps, such as by e-mailing ourselves? What are information scraps' role in the larger space of personal information management, and what do they uniquely offer that we find so appealing? If these unorganized bits truly indicate the failure of our PIM tools, how might we begin to build better tools? We have pursued these questions by undertaking a study of 27 knowledge workers. In our findings we describe information scraps from several angles: their content, their location, and the factors that lead to their use, which we identify as ease of capture, flexibility of content and organization, and avilability at the time of need. We also consider the personal emotive responses around scrap management. We present a set of design considerations that we have derived from the analysis of our study results. We present our work on an application platform, jourknow, to test some of these design and usability findings

Wicked Problems and Gnarly Results: Reflecting on Design and Evaluation Methods for Idiosyncratic Personal Information Management Tasks

This paper is a case study of an artifact design and evaluation process; it is a reflection on how right thinking about design methods may at times result in sub-optimal results. Our goal has been to assess our decision making processthroughout the design and evaluation stages for a software prototype in order to consider where design methodology may need to be tuned to be more sensitive to the domain of practice, in this case software evaluation in personal information management. In particular, we reflect on design methods around (1) scale of prototype, (2) prototyping and design process, (3) study design, and (4) study population

Finders/keepers: A longitudinal study of people managing information scraps in a micro-note tool

Mainstream PIM tools capture only a portion of the information that people need to manage. Many information scraps seem to exist that don't make their way into these tools, instead being relegated to sticky notes, text files, and other makeshift storage, or simply being lost. In an effort to understand the role of these information scraps, the underlying needs they reflect, and the way PIM tools must be modified to support those needs, we created List-it, a micronote tool for quick and simple capture of information scraps. In this article, we analyze the notes and interaction logs of 420 volunteer users of List-it over a two-year period of study (August 2008-August 2010). We contextualize our analysis with results of two surveys and an e-mail interview we conducted in October 2009. We find that people are drawn to List-it by the ease and speed of note capture and by the ability to record scraps with arbitrary content that blends or completely escapes the types and roles imposed by our rigid PIM tools. Notes are taken to serve a variety of needs -- reminding, reference, journaling/activity logging, brainstorming, and to indefinitely archive information of sentimental or personal value. Finally, while people differ considerably in the ways they keep information, our findings suggest such differences can be described as a combination of four distinct strategies, enriching the Filer/Piler distinction identified for classic document management

Analysis of Task Management in Virtual Academic Teams

Social Collaboration Analytics (SCA) aims at measuring collaboration in Enterprise Collaboration Systems (ECS). In this paper, we apply SCA to investigate the use of Task Management (TM) features in virtual academic teams on a collaboration platform. This paper contributes to theory by developing the TM Catalog describing the elements and characteristics of TM. Our literature review identified only three studies analyzing the use of TM features in ECS. These studies base their analyses on transactional data (event logs). We propose to analyze both the structure and characteristics of tasks, as well as how tasks are used. In our paper, we show how SCA can be applied to gain insights on the use of TM features. Based on data from an academic collaboration platform, we demonstrate the characteristics of tasks and how different types of virtual academic teams make use of TM features

자극의 담기 관점에서 본 스마트폰 메모행태 연구

학위논문 (석사)-- 서울대학교 융합과학기술대학원 : 융합과학부(디지털정보융합전공), 2013. 8. 이중식.스마트폰의 보편화로 사람들의 메모 행위가 달라지고 있다. 수첩과 펜으로 대표되었던 메모는 이제 스마트폰으로 대체되고 있다. 주머니 속에서 스마트폰을 쉽게 꺼내 몇 자 적거나, 한 두 마디를 남기거나, 사진을 찍는 등 접근성과 미디어 다양성이라는 측면에서 이전의 메모 도구들을 넘어서고 있다. 하지만 새로운 기술이나 도구의 등장은 인간의 감각의 확장을 가져오는 것과 마찬가지로, 미디어 형식의 변화는 미디어를 사용하는 사람들의 행동 방식, 동기, 내용의 변화를 가져온다는 가정에서 본 연구는 출발하였다. 본 연구는 기존의 메모 연구와 비교할 때 빠른 속도와 접근성, 고 해상도의 카메라, 다양한 작성 도구 등 스마트폰의 정보 캡쳐 기술이 가져온 근본적인 변화가 실제로 나타나고 있다는 가정에서 출발했다. 무엇보다도 사람들이 스마트폰으로 이전보다 더욱 외부의 자극을 빠르고 쉽게 메모의 형태로 캡쳐하고 가공할 수 있게 되었다는 현상에 주목, 매체별, 동기별, 내용 유형, 자극 유형에 따라 스마트폰 메모의 특성을 검증해보려고 했다.이 문제를 검증하기 위하여, 선행 연구의 미디어 현상학, 인지 심리학에서 이해하는 인간의 정보 처리 모델, 개인 정보 관리 시스템의 관점에서 기존의 메모 행태 연구에서 시작하여 메모의 일반적인 특성과 역할을 파악하는 것에서부터 시작하였다. 또한 실제 스마트폰 메모의 행태적 특성을 탐색하기 위해 파일럿 조사를 실시하여 연구 방법과 문제를 설계하였다. 최종적으로 본 실험에서는 스마트폰으로 기본 메모, 노트, 카메라, 이메일, 할 일 관리, 캘린더, 소셜 네트워크 서비스, 음성 메모, 손글씨 중 2 개 이상의 어플리케이션을 사용하며 최근 3 주 동안 10 개 이상의 메모를 작성한 사람들을 온라인 사전 설문을 통해 스마트폰 사용자 44 명을 최종 참가자로 모집했다. 최근 스마트폰으로 작성한 15 개 메모의 화면을 모바일 메신저를 통해 전송 받고, 이어서 개별 메모에 대한 작성 동기와 매체 동기, 자극의 가공 여부 및 자극 상황을 온라인 설문조사로 병행하여 메모의 화면 내용만으로는 알 수 없는 메모에 대한 정보를 수집하였다. 실험 후에는 설문 응답의 내용과 전송해준 메모 화면과 일치하는 사후 설문으로 다시 확인하였다. 데이터를 수집을 마친 후, 근거 이론적 접근 방식으로 스마트폰 메모의 매체 동기, 자극 유형, 내용 유형을 분류하고 매체별, 동기별, 내용별 분포와 특성을 분석하였다. 분석 결과, 스마트폰에서 메모는 다양한 어플리케이션과 매체 형식으로 작성되고 있었다. 자극과 가공도의 측면에서 전체 메모의 약 80%가 외부의 자극을 담은 메모로 담기형 메모가 매우 높은 비중으로 일어나고 있으며, 총 11 개의 자극 유형에서는 검색, 준비, 대화, 탐색 등이 자극이 되어 메모를 작성하는 경우가 많았다. 주어진 자극을 캡쳐하는 것 뿐 아니라, 특정한 정보나 과업에 따라 자신이 원하는 자극을 미리 찾아 저장하는 검색, 준비, 완료 등 새로운 자극 유형이었고, 대화나 회의, 사교 등 관계적인 활동에서의 자극이 촉매가 되어 메모를 작성하는 경우도 높은 비중을 차지하고 있었다. 메모의 동기에서는 스마트폰이 종이나 컴퓨터 메모와 비교할 때 가장 빠른 작성 도구인 동시에 몸에 가장 밀착되어 있는 정보의 외부 저장소로 빠른 검색이 용이하다는 스마트폰 매체의 장점을 알 수 있었다. 또 20 개의 메모 내용 유형 중, 길찾기를 수월하게 하기 위한 지도를 캡쳐한 메모, 한꺼번에 기억이 어려운 복잡한 구매 번호나 코드, 제목, 미디어와 콘텐츠는 기존 매체에서 등장하지 않았거나, 적게 나타났지만 새롭게 나타난 메모들, 물리적 세계인 실재 정보와 매개된 정보, 주변 정보, 자아 정보의 네 가지 중 분류에 따라 자극의 담기와 가공도의 분포가 큰 차이가 나타남을 확인했다. 마지막으로 연구 결과를 종합하여 스마트폰 메모 행태에서 발견된 특성을 1) 매체 형식의 혼종 2) 밀착성, 3) 판단을 유보한 반응형 메모, 4) 자극의 담기에 따른 내용의 변화, 5) 관계적 메모의 다섯 가지 특성으로 결론을 내렸다. 본 연구는 학문적인 논의가 부족했던 스마트폰 메모의 이용행태를 정량적, 정성적 분석으로 새로운 분류 체계와 특성을 도출했다는 점에서 연구의 시의성을 가진다. 방법론적 측면에서는, 기존 연구의 연장선 상에서 메모를 정의하고 방법을 참고한 동시에, 스마트폰에서 나타나는 새로운 점을 알기 위하여 유연한 접근으로 메모 데이터를 수집했다는 점, 모바일 인스턴트 메신저를 활용하여 스마트폰 메모의 화면 수집과 함께 설문조사가 가진 상호 교류 부족의 단점을 보완했다는 의의가 있다.The increase of smartphone users implies the changes in people' everyday information capturing practice. The particular interest of this paper lies on memo behavior, traditionally referring to personal records on the paper or with digital input. Recently, it seems that smartphone memo tool replace the traditional one by providing various ways of capturing information: typing or copy-and-paste text, taking a picture, or recording voices, and consequently it brings changes the accessibility and diversities of media usage. As Mcluhan viewed the emergence of new media as the extension of human sense, it is assumed that the form of smartphone technology reframes the way people are engaged in media, in other words, the contents. This study aims to examine the major changes among smartphone users' memo behaviors by focusing on external stimulus and refinement. In particular, it was started from the idea that the phenomenon of capturing technology such as quick access to the operating system, high- definition camera, and diverse tools, made serious changes in routines of memo behavior, in which it blurs the boundary between information capturing and creation. On the basis of this assumption, the objective of the study is to identify the characteristics and distribution of smartphone memo in following sub- topics: media forms, motivation, contents, and refining stimulus. The study pursued these questions by collecting the screenshots of smartphone memo with online survey from 44 smartphone users with various demographic backgrounds. Smartphone memo, is defined as a digital records which refers to the wide range of information capturingactivities with smartphone, assuming that the current smartphone memo is not bound to a single memo tool compare to traditional forms. In addition, three types of information capturing strategy were specified based on whether and how much it contains stimulus:capture, summarize, and diary type.Data collection was conducted by two parts: the participants sent the screenshots of recent fifteen memo through mobile messenger from more than two of following smartphone applications: default memo, note, camera, e-mail to self, to-do list, calendar, social network service, voice, and sketch, and conducting retrospective online survey for each memo that participants created. The survey questions, both opened and closed, included the external stimulus and refining was engaged in, context, and motivation for information capturing. 655 screenshots and survey data were analyzed with descriptive statistics and content analysis. The result showed that average four applications per person were used for information capturing practice with smartphone. While 37% of 655 memo were recorded with camera phone, as a copy of external stimulus, default memo, note, task management, sketch applications tend to contain less stimulus and capture type. In media types, although a large number of memo up to 83% was text-based media, it appears that either non-text or partly non-text memo such as image, voice took 17%, which implies the hybridity of media types are increased. In terms of stimulus and refinement, 80% of total memo contain external stimulus, and the types of stimulus were varied from search, conversation, browse, prepare, appreciate, to meeting, social activity, notification, and serendipity. Not only participants use smartphone memo in order to refer later as frequently mentioned in previous researches, they also do memo in order not to forget, and share information with others. While 24% of the choice of media was its quick and simple writing as same as a general characteristic of memo, there were unique reasons to choose smartphone due to a large amount of information, chained work with smartphone, proximity, and retrieval. Lastly, the contents of the memo became more diverse than traditional memo, particularly, wayfinding, code, title, shopping, contents, and media whose information type is quite complex and large. In conclusion, the five characteristics of smartphone memo behavior were drawn from the analysis: hybridity of media types, embodied proximity, reserving judgment, close to the world, relational-driven memo. The implication of this study lies at explicating new phenomenon in smartphone memo as a research topic in alignment with media theory, cognitive psychology, and previous memo behavior user studies. However, the future study is expected to elaborate the improvement in survey data of the study which may lack the validity compare to actual behavioral logs, by tracking more accurate and reliable data of information capturing practice.제 1 장 연구의 배경 및 목적 11 제 2 장 이론적 배경 13 제 1 절 메모에 대한 이론적 논의 13 1. 미디어와 감각의 확장 13 2. 인간 정보 처리의 인지 심리학적 관점 14 2.1. 인간 정보 처리 모델 15 2.2. 감각, 지각, 인지 16 2.3. 노트테이킹의 인지적 기능 17 제 2 절 메모 이용행태에 대한 연구 18 1. 정보 캡쳐 18 1.1. 스마트폰의 정보 캡쳐와 가공 19 2. 정보 스크랩 22 3. 일상적 노트테이킹 23 4. 메모의 분류 체계 23 4.1. 메모의 일반적 특성 24 4.2. 메모의 매체, 내용, 동기별 분류 24 제 3 장 연구 문제 및 개념 정의 25 제 1 절 연구 문제 26 제 2 절 측정을 위한 개념 정의 27 1. 스마트폰 메모의 정의와 특성 27 2. 스마트폰 메모의 매체별 분류 27 3. 스마트폰 메모의 작성 동기의 분류 체계 30 4. 스마트폰 메모의 자극과 가공도 분류 체계 31 제 4 장 연구 방법 32 제 1 절 연구 방법 32 1. 스크린 캡쳐 33 2. 메모 기반 설문 34 제 2 절 실 험 35 1. 파일럿 조사 35 2. 본 실험 37 제 3 절 데이터 분석 40 1. 분석 방법 및 코딩 규칙 42 제 5 장 연구 결과 45 제 1 절 스마트폰 메모의 매체적 특성 45 1. 어플리케이션별 45 2. 매체 형식별 48 제 2 절 스마트폰 메모의 자극과 가공도에 따른 특성 50 1. 자극과 가공도에 따른 분포 50 2. 메모의 자극 유형별 특성 52 제 3 절 스마트폰 메모의 동기적 특성 54 1. 작성 동기별 55 2. 매체 동기별 56 제 4 절 스마트폰 메모의 내용적 특성 59 1. 스마트폰 메모의 내용 유형 59 2. 자극과 가공도에 따른 메모 내용의 특성 60 제 6 장 결론 및 연구의 의의 63 제 1 절 요약 63 1. 스마트폰 메모의 특성 67 제 2 절 연구의 시사점 71 제 3 절 연구의 한계 및 제언 73 참고문헌 74 Abstract 79Maste

Understanding, Defining and Managing of Operational Personal Priorities. A Tool for Task Management Self-Prioritization

RÉSUMÉ : Plusieurs personnes se sentent bombardées par l'augmentation de la charge de travail et des engagements. Nous avons, souvent, le sentiment de manquer de temps. L'établissement des priorités devient un défi et émotionnel pour tout le monde. En effet, il est difficile de définir les tâches qui semblent plus le meilleur parmi plusieurs choix. Il existe des centaines d'outils numériques de gestion de temps personnel sur le marché. Cependant, il semble avoir une faible tentative de développer un outil qui s’aligne avec le comportement des gens et qui réponde à leurs besoins. Le temps est élastique et sa gestion est difficile par des gens. Par conséquent, chaque personne reste son meilleur planificateur. Cette recherche vise à répondre à l’objectif : « Comment pouvons-nous soutenir les gens dans la gestion, sélection et priorisation de leurs propres tâches connues / inconnues afin de donner le meilleur de soi-même ? ». Pour atteindre cet objectif, les besoins des gens ont été étudiés afin de comprendre comment ils gèrent leurs tâches. Les données ont servi à cerner leurs difficultés dans la gestion, puis à élaborer un cadre pour répondre à leurs besoins. L'étude empirique a été réalisée sur le personnel du département d'urgence d’un hôpital. Le choix du département d’urgence a été fait vu l’importance de la gestion du temps et des priorités. Sur la base des résultats de l'étude de cas, un nouvel outil a été proposé, appelé " House in Goal Hierarchy (HIGH) ", qui est un outil d'établissement des priorités et de prise de décision utilisant une approche ascendante de gestion. Le potentiel de ce nouvel outil a été testé auprès de quinze personnes de l'École Polytechnique de Montréal. Un sondage a été mené pour comprendre l'efficacité et les différences de comportement des participants avant et après l’utilisation de l’outil. Les données collectées ont été analysées qualitativement et quantitativement. Malgré cette recherche avait la limite de taille de l’échantillon, une amélioration de 50% a été mesurée auprès des utilisateurs dans leur priorisation de tâches et dans l’atteinte de leurs objectifs.----------ABSTRACT : Many of us feel bombarded by our increasing workload, commitments, and requests for more time. Prioritization is very emotional and challenging for everyone since it is difficult to prioritize, which is the best among more than one choice. There are hundreds of digital and paper versions of personal time management tools available on the market. It seems there is a feeble attempt to develop a tool that meets people' behavior and needs. Time is elastic and more or less manageable by people. Therefore, each person is his/her own best scheduler. Time-management more referred to the self and task management to make a balance between the activities. This research tried to work on the objective of “How can we help people to manage, select and prioritize their own known/unknown tasks to account to themselves in a respectful manner?” For this objective, people’s needs were studied to understand how people manage tasks. The data was used to identify their difficulties and then develop a framework to meet their needs. The empirical study was carried out on the personnel of the emergency department of the hospital since time and prioritizing is extremely valuable to them. Based on the results of the case study, a new tool was proposed called “House in Goal Hierarchy (HIGH)” that is a prioritizing and decision-making tool to create a bottom-up approach. The potential of this new tool was then tested with fifteen graduate students of the École Polytechnique of Montréal. A survey was applied to understand the effectiveness and differences in the behavior of the participants, before and after using the tool. The collected data analyzed in both quantitative and qualitative ways. Even though this research had a limitation in testing in a small group, but stillthe result of using HIGH tool showed that the approach has approximately a 50% improvement in prioritizing the user’s tasks and reaching his/her goals

Brukskvalitet og kostnader : Evaluering av et planleggingsverktøy hos GE Hydro

Denne masteroppgaven omhandler et planleggingsverktøy brukt hos ett av Norges ledende teknologibedrifter med kompetanse innen vannkraft. Utgangspunktet for studien er et verktøy som brukes for å planlegge ingeniøroppgaver, og som brukes for å rapportere status på prosjekter. Oppgaven er avgrenset til evaluering av den delen av systemet med størst brukergruppe; ingeniørene som utfører de planlagte aktivitetene. Det har tidlig blitt gitt uttrykk for misnøye med dette systemet både av ledere og brukere ved avdelingen på Kjeller. Oppgaven tar for seg brukskvaliteten til dette systemet, og benytter et bredt spekter av metoder for å evaluere systemet som også blir brukt i bedriftens avdelinger i andre land. Blant annet blir det utført feltstudier, spørreundersøkelser, intervjuer og brukertesting. Evalueringen ble gjort i et kostnadsperspektiv – i et forsøk på å finne ut hvor mye dårlig brukskvalitet faktisk koster. Metodene blir vurdert i forhold til egnethet for bruk i en stor funksjonell organisasjon som strekker seg over flere kontinenter. I slutten på rapporten foreslås mulige løsninger for å bedre brukskvalitet og dataintegritet. Rapporten avdekker flere problemer forbundet med brukskvaliteten i planleggingsverktøyet, som også berører tilstøtende systemer. Systemet er evaluert i kontekst, og aktør-nettverks-teori benyttes for å beskrive de tekniske og sosio-tekniske forholdene. Nøkkelord: Return of investment (ROI), menneske-maskin interaksjon (HCI, MMI), informasjonsinfrastrukturer (II), datakvalitet, dataintegritet, front-end, User Experience (UE, UX), User Centered Design (UCD), General Electric (GE), GE Hydro, TIME

Information scraps : understanding and design

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2008.Includes bibliographical references (p. 139-148).In this thesis I investigate information scraps - personal information whose content has been scribbled on Post-it notes, scrawled on the corners of sheets of paper, stuck in our pockets, sent in e-mail messages to ourselves, and stashed into miscellaneous digital text files. Information scraps encode information ranging from ideas and sketches to notes, reminders, shipment tracking numbers, driving directions, and even poetry. I proceed by performing an in-depth ethnographic investigation of the nature and use of information scraps, and by designing and building two research systems designed for information scrap management. The first system, Jourknow, lowers the capture barrier for unstructured notes and structured information such as calendar items and to-dos, captures contextual information surrounding note creation such as location, documents viewed, and people corresponded with, and manages uncommon user-generated personal information such as restaurant reviews or this week's shopping list. The follow-up system, Pinky, further explores the lightweight capture space by providing a command line interface that is tolerant to re-ordering and GUI affordances for quick and accurate entry. Reflecting on these tools' successes and failures, I characterize the design process challenges inherent in designing and building information scrap tools.by Michael Bernstein.S.M