New perspectives on Web search engine research

Purpose–The purpose of this chapter is to give an overview of the context of Web search and search engine-related research, as well as to introduce the reader to the sections and chapters of the book. Methodology/approach–We review literature dealing with various aspects of search engines, with special emphasis on emerging areas of Web searching, search engine evaluation going beyond traditional methods, and new perspectives on Webs earching. Findings–The approaches to studying Web search engines are manifold. Given the importance of Web search engines for knowledge acquisition, research from different perspectives needs to be integrated into a more cohesive perspective. Researchlimitations/implications–The chapter suggests a basis for research in the field and also introduces further research directions. Originality/valueofpaper–The chapter gives a concise overview of the topics dealt with in the book and also shows directions for researchers interested in Web search engines

New perspectives on Web search engine research

Purpose–The purpose of this chapter is to give an overview of the context of Web search and search engine-related research, as well as to introduce the reader to the sections and chapters of the book. Methodology/approach–We review literature dealing with various aspects of search engines, with special emphasis on emerging areas of Web searching, search engine evaluation going beyond traditional methods, and new perspectives on Webs earching. Findings–The approaches to studying Web search engines are manifold. Given the importance of Web search engines for knowledge acquisition, research from different perspectives needs to be integrated into a more cohesive perspective. Researchlimitations/implications–The chapter suggests a basis for research in the field and also introduces further research directions. Originality/valueofpaper–The chapter gives a concise overview of the topics dealt with in the book and also shows directions for researchers interested in Web search engines

Credibility in Web Search Engines

Web search engines apply a variety of ranking signals to achieve user satisfaction, i.e., results pages that provide the best-possible results to the user. While these ranking signals implicitly consider credibility (e.g., by measuring popularity), explicit measures of credibility are not applied. In this chapter, credibility in Web search engines is discussed in a broad context: credibility as a measure for including documents in a search engine's index, credibility as a ranking signal, credibility in the context of universal search results, and the possibility of using credibility as an explicit measure for ranking purposes. It is found that while search engines-at least to a certain extent-show credible results to their users, there is no fully integrated credibility framework for Web search engines

Katse kaunokirjallisuuteen. Kaunokirjallisuuden valinta verkkopalvelun avulla.

Kaunokirjallisuuden hakuun kohdistunut tutkimus on perinteisesti keskittynyt siihen, miten lukijat valitsevat välittömässä fyysisessä läheisyydessään olevia teoksia. Kaunokirjallisuuden haku verkosta lisääntyy kuitenkin jatkuvasti, joten on tärkeää tutkia, miten luettavaa valitaan verkkopalvelun avulla. Kaunokirjallisuuden hakua tukevien verkkopalveluiden kehittämiseksi tarvitaan lisää ymmärrystä lukijoiden keinoista löytää itselleen mieluisaa luettavaa sekä tietoa seikoista, joita lukijat käyttävät hyvän luettavan tunnistamisessa. Tässä tutkimuksessa selvitettiin, mitkä kuvailutiedot ovat keskeisiä kaunokirjallisuuden lukijoiden valitessa itselleen luettavaa verkkopalvelun avulla. Tutkimuksessa verrattiin perinteisen kirjastojärjestelmän (www.satakirjastot.fi) ja rikastetun kaunokirjallisuusaiheisen verkkopalvelun (www.kirjasampo.fi) käyttöä. Luettavan valintaprosessin tarkastelussa keskityttiin ensisijaisesti yksittäisiin teossivuihin ja niillä oleviin kuvailutietoihin. Kaunokirjallisuuden hakua ei ole aiemmin tutkittu tästä näkökulmasta. Tutkimusmenetelmänä käytettiin koeasetelmaa, jossa tutkimukseen osallistuneet henkilöt suorittivat etukäteen laadittuja simuloituja hakutehtäviä. Hakutehtävät oli suunniteltu aiemman tutkimuksen perusteella siten, että ne edustaisivat mahdollisimman hyvin tyypillisiä kaunokirjallisuuden hakutilanteita. Aineisto kerättiin katseenseurannan, kyselyiden ja havainnoinnin avulla. Katseenseuranta-aineisto ja kyselyvastaukset analysoitiin kvantitatiivisesti ja niiden tulkinnassa käytettiin apuna testitilanteiden havainnoinnissa tehtyjä muistiinpanoja. Tulosten perusteella keskeisin teoksen valintaan vaikuttanut seikka oli teoksen ja tekijän nimi. Katseenseuranta osoitti, että nimitietojen katsominen oli yhteydessä kiinnostavan teoksen valintaan, ja kyselyvastauksissa nimi sai eniten mainintoja tärkeimpänä valintaan vaikuttaneena seikkana. Osallistujien kyselyvastausten perusteella myös teoksen kuvauksella ja asiasanoilla oli keskeinen rooli teoksen valinnassa. Katseenseurannan avulla selvisi lisäksi, että Kirjasammossa kansikuvan katsominen ennusti kiinnostavan teoksen löytymistä. Satakirjastossa teoksen valinnassa korostui puolestaan julkaisutietojen rooli. Osallistujat onnistuivat hakutehtävissä löytämään itseään kiinnostavia teoksia, sillä suurin osa valituista teoksista arvioitiin erittäin tai melko kiinnostaviksi sekä Kirjasammossa että Satakirjastossa. Tutkimus osoitti, että teossivuilla olevien kuvailutietojen esiintyvyys ja sijoittelu ovat tärkeitä kaunokirjallisuuden valinnassa. Teoksista tulisi tarjota kattavat ja yhtäläiset tiedot kaikilla teossivuilla, jotta lukijat saisivat riittävästi tietoa valintapäätöksensä tueksi. Tämän tutkimuksen tuloksia voidaan hyödyntää kirjastojärjestelmien ja kaunokirjallisuusaiheisten verkkopalveluiden suunnittelu- ja toteuttamistyössä kehitettäessä entistä hakijaystävällisempiä tapoja esittää kaunokirjallisuutta verkossa. Asiasanat:katseenseuranta, kaunokirjallisuus, kirjastojärjestelmät, tiedonhaku, verkkopalvelu

Katse kaunokirjallisuuteen. Kaunokirjallisuuden valinta verkkopalvelun avulla.

Kaunokirjallisuuden hakuun kohdistunut tutkimus on perinteisesti keskittynyt siihen, miten lukijat valitsevat välittömässä fyysisessä läheisyydessään olevia teoksia. Kaunokirjallisuuden haku verkosta lisääntyy kuitenkin jatkuvasti, joten on tärkeää tutkia, miten luettavaa valitaan verkkopalvelun avulla. Kaunokirjallisuuden hakua tukevien verkkopalveluiden kehittämiseksi tarvitaan lisää ymmärrystä lukijoiden keinoista löytää itselleen mieluisaa luettavaa sekä tietoa seikoista, joita lukijat käyttävät hyvän luettavan tunnistamisessa. Tässä tutkimuksessa selvitettiin, mitkä kuvailutiedot ovat keskeisiä kaunokirjallisuuden lukijoiden valitessa itselleen luettavaa verkkopalvelun avulla. Tutkimuksessa verrattiin perinteisen kirjastojärjestelmän (www.satakirjastot.fi) ja rikastetun kaunokirjallisuusaiheisen verkkopalvelun (www.kirjasampo.fi) käyttöä. Luettavan valintaprosessin tarkastelussa keskityttiin ensisijaisesti yksittäisiin teossivuihin ja niillä oleviin kuvailutietoihin. Kaunokirjallisuuden hakua ei ole aiemmin tutkittu tästä näkökulmasta. Tutkimusmenetelmänä käytettiin koeasetelmaa, jossa tutkimukseen osallistuneet henkilöt suorittivat etukäteen laadittuja simuloituja hakutehtäviä. Hakutehtävät oli suunniteltu aiemman tutkimuksen perusteella siten, että ne edustaisivat mahdollisimman hyvin tyypillisiä kaunokirjallisuuden hakutilanteita. Aineisto kerättiin katseenseurannan, kyselyiden ja havainnoinnin avulla. Katseenseuranta-aineisto ja kyselyvastaukset analysoitiin kvantitatiivisesti ja niiden tulkinnassa käytettiin apuna testitilanteiden havainnoinnissa tehtyjä muistiinpanoja. Tulosten perusteella keskeisin teoksen valintaan vaikuttanut seikka oli teoksen ja tekijän nimi. Katseenseuranta osoitti, että nimitietojen katsominen oli yhteydessä kiinnostavan teoksen valintaan, ja kyselyvastauksissa nimi sai eniten mainintoja tärkeimpänä valintaan vaikuttaneena seikkana. Osallistujien kyselyvastausten perusteella myös teoksen kuvauksella ja asiasanoilla oli keskeinen rooli teoksen valinnassa. Katseenseurannan avulla selvisi lisäksi, että Kirjasammossa kansikuvan katsominen ennusti kiinnostavan teoksen löytymistä. Satakirjastossa teoksen valinnassa korostui puolestaan julkaisutietojen rooli. Osallistujat onnistuivat hakutehtävissä löytämään itseään kiinnostavia teoksia, sillä suurin osa valituista teoksista arvioitiin erittäin tai melko kiinnostaviksi sekä Kirjasammossa että Satakirjastossa. Tutkimus osoitti, että teossivuilla olevien kuvailutietojen esiintyvyys ja sijoittelu ovat tärkeitä kaunokirjallisuuden valinnassa. Teoksista tulisi tarjota kattavat ja yhtäläiset tiedot kaikilla teossivuilla, jotta lukijat saisivat riittävästi tietoa valintapäätöksensä tueksi. Tämän tutkimuksen tuloksia voidaan hyödyntää kirjastojärjestelmien ja kaunokirjallisuusaiheisten verkkopalveluiden suunnittelu- ja toteuttamistyössä kehitettäessä entistä hakijaystävällisempiä tapoja esittää kaunokirjallisuutta verkossa. Asiasanat:katseenseuranta, kaunokirjallisuus, kirjastojärjestelmät, tiedonhaku, verkkopalvelu

Learning object metadata surrogates in search result interfaces: user evaluation, design and content

The purpose of this research was to evaluate user interaction with learning object metadata surrogates both in terms of content and presentation. The main objectives of this study were: (1) to review the literature on learning object metadata and user-centred evaluation of metadata surrogates in the context of cognitive information retrieval (including user-centred relevance and usability research); (2) to develop a framework for the evaluation of user interaction with learning object metadata surrogates in search result interfaces; (3) to investigate the usability of metadata surrogates in search result interfaces of learning object repositories (LORs) in terms of various presentation aspects (such as amount of information, structure and highlighting of query terms) as a means for facilitating the user relevance judgment process; (4) to investigate in-depth the type of content that should be included in learning object metadata surrogates in order to facilitate the process of relevance judgment; (5) to provide a set of recommendations—guidelines for the design of learning object metadata surrogates in search result interfaces both in terms of content and presentation. [Continues.

플립러닝의 교수학습자료 개발을 위한 인지적 지원 도구 개발 연구

학위논문 (박사)-- 서울대학교 대학원 사범대학 교육학과, 2017. 8. 나일주.플립러닝(flipped learning)은 발달된 테크놀로지를 기반으로 하여 온라인 학습과 면대면 학습을 유기적으로 결합하는 교수-학습의 방법이다. 플립러닝이 교육에 긍정적인 변화를 가져올 것으로 기대됨에 따라 국내외 교육계에서 플립러닝에 대한 관심이 높아지고 있으며, 실제 교육 현장에서 플립러닝이 확산되고 있는 추세이다. 플립러닝을 위해서는 기존의 교실에서 전달되던 지식을 디지털 교수학습자료로 개발하여 학습자에게 미리 교실 전 학습자료로 만들어 전달하게 되는데, 이 때 효과적인 교수학습자료가 되기 위해서는 수업의 맥락과 학습자의 특성을 고려하고 교수자의 의도를 잘 반영하며 또한 다음에 있을 교실에서의 수업과 자연스럽게 연계될 수 있도록 제작하는 것이 바람직하다. 따라서 플립러닝의 방법을 적용하고자 하는 교수자는 직접 자신의 플립러닝에 적합한 디지털 교수학습자료를 설계하고 개발해 낼 수 있어야 하게 된다. 교수자들이 디지털 교수학습자료 개발을 위한 테크놀로지에 익숙하고, 테크놀로지를 교수 내용과 교수 방법에 적합하게 통합하는 전략에 대한 지식이 충분하며, 교수설계와 개발의 체제 내에서 나타나는 다양한 요소들과 원칙들을 적정수준에서 지킬 수 있다면 플립러닝의 특성에 적합한 디지털 교수학습자료를 개발할 수 있게 될 것이다. 그러나 교수자들이 이러한 지식과 기술을 겸비하고 이를 구사해 내는 것을 기대하기는 현실적으로 쉽지 않다. 본 연구는 플립러닝에서 교수자가 교실 수업 전 학습을 위한 디지털 교수학습자료를 개발하고자 할 때 이를 인지적으로 지원하는 도구를 개발하는 것을 목적으로 한다. 플립러닝 교수학습자료 개발을 인지적으로 지원하는 것은 교수자의 지적 작용이 능률적으로 일어나도록 하여 플립러닝에 효과적인 교수학습자료를 수월하게 개발할 수 있도록 함으로써 교수자를 도와 줄 뿐만 아니라 학습자의 학습을 향상시키는 데 기여할 수 있을 것이라는 기대를 가능하게 한다. 연구 방법으로는 설계·개발연구 유형 1을 적용하였으며, 전문가 및 교수자 20명, 학습자 53명이 연구 과정에 참여하였다. 연구의 절차는 1)선행문헌 고찰을 통한 인지적 지원 원리와 전략 도출 및 전문가 검토에 의한 타당화, 2)플립러닝 실제에 관한 자료 검토 및 관련자 면담 분석, 3)플립러닝 교수학습자료 개발 단계별 인지적 지원 전략 흐름표 개발 및 전문가 검토에 의한 타당화, 4)플립러닝 교수학습자료 개발을 위한 인지적 지원 도구 개발 및 도구 구현 방식의 타당화, 5)대학과 기업의 교수자들을 대상으로 한 지원 도구 사용성 평가 및 수정, 6)개발된 디지털 교수학습자료를 활용한 플립러닝 실행 및 학습자 반응 평가 순으로 진행되었다. 이 연구에서의 인지적 지원은 멘탈모델과 시각지능 이론에 부합하도록 외적 표상을 활용하는 것에 초점을 두었다. 지원 도구 개발 과정에서 도출된 인지적 지원의 원리는 개념 형성 지원, 개념 조작적 사고 지원, 창조적 사고 지원, 실행가이드적 지원 등 네 가지 범주로 구분되었으며, 총 13개의 인지적 지원 원리와 18개의 하위 전략들이 도출되었다. 인지적 보조도구는 이들 원리와 전략을 플립러닝이라는 특수한 환경에 최적화시키는 방식으로 개발되었다. 이 연구의 결과 플립러닝 교수학습자료 개발을 위한 인지적 지원 도구가 개발되었다. 여기에는 교수자가 수행해야 할 5단계, 10개의 과업을 순차적으로 지원하는 27개의 구체적인 인지적 지원 전략들이 구현되어 총 34개 화면의 PDF 콘텐츠로 제작되었다. 각 화면은 실행지시문, 활용요소, 내용제시 영역으로 구획되었으며 지원 내용은 언어적 텍스트, 플로우차트, 오버뷰 이미지, 프레임, 아이콘, 사례 유형 사진, 추상화된 패턴 이미지, 체크리스트 등으로 표현되었다. 또한, YouTube의 사례 동영상 및 웹 페이지, 동영상·SPAT(Still Picture, Audio, Text)·텍스트 세 가지 유형의 디지털 콘텐츠 저작용 애플리케이션 및 매뉴얼 등 외부 요소들이 하이퍼링크 방식으로 제공되었으며, 지원 도구 내에서의 화면들 간 하이퍼링크 및 메뉴 기능도 제공되었다. 개발된 도구에 대한 교수자 사용성 평가 결과 인지적 지원 요소별 목적 달성, 전반적인 사용성, 산출물에 관한 전체 문항에서 긍정적인 것으로 나타났다. 교수자들은 인지적 지원 도구가 플립러닝 교수학습자료 개발에 도움이 되었으며, 플립러닝 교수학습자료의 설계와 개발에 대해 보다 명확히 이해할 수 있었고, 설계와 개발을 위한 의사결정을 쉽게 할 수 있었으며, 내용 특성에 따라 매체를 선택하여 플립러닝을 위한 디지털 교수학습자료를 직접 개발할 수 있었다고 보고하였다. 지원도구의 도움을 받아가며 교수자들이 직접 개발한 디지털 교수학습자료에 대한 학습자의 반응도 긍정적이었다. 이들은 교수학습자료의 제작 방식, 학습에의 효과, 사전학습과 교실학습의 연계 등의 측면에서 긍정적으로 반응하였다. 연구 결과에 기초하여 플립러닝의 교실 전 교수학습자료 개발 지원 도구 활용의 실제적 의의, 지원 도구에 적용된 인지적 지원 원리와 전략의 적절성, 지원 도구 개발의 방법에 대해 논의하고 지원 도구의 향후 개선 방향, 연구과정에서 발견된 플립러닝 교수학습자료 개발에 영향을 주는 외적 요인들과 필요사항 및 후속 연구를 제안하였다. 주요어: 플립러닝, 교수학습자료 개발, 인지적 지원 도구, 멘탈모델, 시각지능, 표상I. 서론 1 1. 연구의 필요성 및 목적 1 2. 연구문제 12 3. 연구의 의의 13 4. 용어 정의 14 1) 플립러닝(Flipped Learning) 14 2) 교수학습자료(Teaching-Learning Materials) 14 3) 인지적 지원 도구(Cognitive Support Tools) 15 4) 멘탈모델(Mental Model) 15 II. 선행문헌 고찰 17 1. 플립러닝(Flipped Learning)의 개념과 특성 17 1) 플립러닝의 정의 17 2) 플립러닝의 배경 18 3) 플립러닝의 구조 21 4) 플립러닝의 특징 24 2. 플립러닝 교수학습자료의 개발 26 1) 플립러닝 교수학습자료의 특성 26 2) 플립러닝 교수학습자료 개발의 특성 36 3) 플립러닝 교수학습자료 개발 테크놀로지 42 4) 플립러닝 교수학습자료 개발의 단계 47 5) 플립러닝 교수학습자료 개발의 실제 63 3. 교육 맥락의 지원 68 1) 지원의 의미와 속성 68 2) 교육 맥락의 지원의 의미와 필요성 69 3) 지원의 종류 72 4. 인지적 지원 85 1) 지식 표상, 멘탈모델，시각지능의 관계 85 2) 지식 구조 이해 지원 100 3) 문제해결 과정 지원 102 4) 디자인 지원 105 5. 인지적 지원 원리와 전략 개발 108 1) 선행문헌 고찰 적용 108 2) 인지적 지원 원리와 전략 개발 111 III. 연구방법 115 1. 연구방법 개요 115 2. 연구절차 117 3. 인지적 지원 원리 및 전략 개발 119 1) 선행문헌 고찰 119 2) 1차 전문가 검토 120 3) 2차 전문가 검토 122 4. 플립러닝의 교실 전 교수학습자료 개발 지원 전략 흐름표 개발 123 1) 1차 개발 (예비 개발) 123 2) 플립러닝 교실 전 교수학습자료 개발 단계별 지원 전략 흐름표의 1차 전문가 검토 124 3) 플립러닝 관계자 면담 및 관찰, 자료 검토 126 4) 플립러닝 교실 전 교수학습자료 개발 단계별 지원 전략 흐름표의 개선 131 5) 개선된 플립러닝 교실 전 교수학습자료 개발 단계별 지원 전략 흐름표의 2차 전문가 검토 132 5. 플립러닝 교실 전 교수학습자료 개발 지원 도구 개발 132 1) 지원 도구 1차 개발 132 2) 지원 도구 구현의 적절성에 대한 전문가 검토 133 3) 1차 지원 도구 사용성 평가 133 4) 지원 도구 수정 136 5) 2차 지원 도구 사용성 평가 137 6. 플립러닝 실행 및 학습자 반응 평가 138 IV. 연구결과 140 1. 지원 원리 및 전략 개발 결과 140 1) 1차 전문가 검토 결과 140 2) 지원 원리 및 전략의 개선 142 3) 2차 전문가 검토 결과 148 2. 플립러닝 교실 전 교수학습자료 개발 단계별 지원 전략 흐름표의 개발 149 1) 플립러닝 교수학습자료 개발 단계별 지원 전략 흐름표의 1차 개발 149 2) 1차 전문가 검토 결과 153 3) 플립러닝 관련자 면담 결과 분석 155 4) 플립러닝 교실 전 교수학습자료 개발 단계별 지원 전략 흐름표의 개선 174 5) 2차 전문가 검토 결과 180 3. 플립러닝 교수학습자료 개발 지원 도구 개발 182 1) 지원 도구 1차 개발 182 2) 지원 도구 구현의 적절성 평가 186 3) 지원 도구 1차 사용성 평가 190 4) 지원 도구 개선 197 5) 지원 도구 2차 사용성 평가 202 4. 플립러닝 실행 및 학습자 반응 평가 결과 211 1) 교수자 D의 수업 211 2) 교수자 E의 파일럿 테스트 214 3) 교수자 E의 리더 대상 수업 216 V. 논의 및 결론 218 1. 논의 218 1) 플립러닝의 교실 전 교수학습자료 개발 지원 도구 활용의 실제적 의의 218 2) 플립러닝 교수학습자료 개발 지원 도구에 적용된 인지적 지원의 적절성 220 3) 지원 도구의 향후 개선 가능성 232 4) 지원 도구 개발의 방법 233 5) 플립러닝 교수학습자료 개발에 영향을 주는 외적 요인들 236 2. 결론 및 제언 238 1) 요약 238 2) 결론 240 3) 제언 246 참 고 문 헌 249 부 록 285 Abstract 331Docto