Danske OA-tidsskrifter og Directory of Open Access Journals (DOAJ)

The report describes a project to get more Danish journals included in DOAJ. The project was initiated in autumn 2020 and started in January 2021. The background has been to strengthen communication, collaboration and knowledge sharing across university libraries within the Royal Danish Library, but also to collaborate nationally with other university libraries that work with OJS servers (Aalborg University Library and Copenhagen Business School). The initiative has been initiated to increase the quality and visibility of the Royal Danish Library Open Science services as well as strengthening the OA journals in terms of visibility and traffic.Rapporten beskriver et projekt, der skulle få flere danske tidsskrifter optaget i DOAJ. Projektet blev initieret i efteråret 2020 og påbegyndt januar 2021. Baggrunden har været at styrke kommunikation, samarbejde og videndeling på tværs af universitetsbiblioteker inden for Det Kgl. Bibliotek, men også at samarbejde nationalt med andre universitetsbiblioteker, der arbejder med OJS servere (Aalborg Universitetsbibliotek og Copenhagen Business School). Initiativet er igangsat for at øge kvalitet og synlighed af Det Kgl. Biblioteks Open Science services samt styrke OA-tidsskrifterne i forhold til synlighed og trafik. 

Forskerne håndterer referencerne højst individuelt

RefWorks eller hjemmegjort. Det er en udfordring for bibliotekerne at hjælpe forskerne med håndtering af referencerne – ikke mindst fordi forskerne har vidt forskellige tilgange til håndteringen. Ny undersøgelse konkluderer derfor, at bibliotekerne skal tage udgangspunkt i den enkelte forskers behov – og ikke mindst sørge få at få fat i de yngre forskere så tidligt som muligt

Reflections on tests of AI-search tools in the academic search process

Academic search literacy and artificial intelligence (AI) search are a strategic focus of future researcher support strategies at the Royal Library and affiliated university libraries in Denmark. The ambition is to integrate AI search tools in teaching and services that support literature seeking and hence improve the efficiency of the academic search process. This paper is a reflection on the results of tests of AI powered search tools conducted at the Royal Library, Denmark. Information specialists and researchers took part in think-aloud tests, Hackathon and expert quality assessment in the period of April 2021 – February 2022. Our observations point to a) opportunities in AI search to let go of traditional approaches to search and broaden our perception of how an academic search can be conducted, b) potential of AI search interfaces to challenge ones preconception and reduce cognitive bias in the search process, c) concerns about the quality of scientific literature AI search identifies, and d) barriers that need to be overcome before practical implementation of Ai search tools become viable in academic searches. More research is needed to show the usefulness of AI search tools in systematic search and guidance on how to report the use of the

Delivery 2: Exploring Iris.ai and Yewno with Think-Aloud tests - a mid-term perspective

<p>The full report is in English.</p> <p>(Danish Resumé)<br> Artificial intelligence (AI) er et felt inden for informationsvidenskab som er i hastig udvikling og deraf bunder denne rapport i måden hvorvidt og i hvilken retning AI kan supportere forskere og studerende i litteratursøgninger og litteratursynteser på universitet Dette fokus er især i forhold til den voksende mængde artikler og data, der dagligt bliver større på tværs af samtlige fagområder som Det kongelige bibliotek servicerer. AI har potentialet til at analysere store mængder komplekse tekst korpora og via matematiske formler, at eftergøre menneskers måde at lære, træffe beslutninger og løse problemer på. Til gengæld kan opgaven oftest udføres med en hastighed og nøjagtighed, der langt overstiger et menneskes evne. Men alt dette kræver større krav til træningen af brugere og detaljeringsgraden ifm., hvordan AI software fungerer i øjemed af litteraturforskning, dens transparens, validitet og reliabilitet, da værktøjerne, der er tilgængelige via biblioteket, burde understøtte en akademiske tilgang til litteratursøgninger.  Akademisk søgning forstås som søgemetoder hvor gennemsigtighed, reproducerbarhed, dokumentation og pålidelighed er nøglen for at sikre det altafgørende i en søgeproces: effektivitet, troværdighed, kvalitet, pålidelighed.<br>  </p> <p>Formålet med denne rapport er at sammenfatte brugeroplevelsen og ydeevnen af to AI-søgesystemer på baggrund af flere tænke-højt tests. Rapporten arbejder med mål og forskningsspørgsmål som bunder i hvordan ovenstående faktorer for akademisk søgning understøttes af AI systemerne og om – eller hvordan disse systemer kan skabe værdi for henholdsvis brugere og informationsfolk. Vi har en arbejdshypotese i projektet om, at forskellige typer brugere (studerende, seniorforskere og bibliotekspersonale) lægger forskellige værdier i forskellige former for support og at vi med disse tests vil få belyst hvilke værdier og hvilken vej inden for vores biblioteksservices vi ønsker at gå.</p> <p> </p> <p><strong>Forskningsspørgsmål:</strong></p> <ul> <li>Hvordan understøtter de AI-drevne søgesystemer Iris.ai og Yewno Discover en akademisk søgning, hvor værdier som effektivitet, troværdighed, kvalitet, pålidelighed, dokumentation og gennemsigtighed i et system er altafgørende?</li> </ul> <p> </p> <ul> <li>Hvilken værdi tilføjer Iris.ai og Yewno til den akademiske søgeproces med henblik på brugere?</li> </ul> <p> </p> <ul> <li>Hvilken værdi tilføjer Iris.ai og Yewno til den akademiske søgeproces med henblik på informationsfagfolk?</li> </ul> <p> </p> <p>De to AI systemer der er blevet testet er Iris.ai og Yewno. Tests blev foretaget i perioden april til maj 2021. Testpersonerne var informationsspecialister der med hands-on i systemerne har kunne udforske om – og hvordan funktionaliteten i systemerne understøtter akademiske søgemetoder og handlinger. Der var 9 informationsspecialister som deltog i tænke-højt testene. Fem tests i Iris.ai og fire i Yewno, som blev afholdt på henholdsvis universitetsbibliotekerne i Aarhus og København. To testere kørte hver test. Moderatoren førte dialogen og guidede testpersonen gennem de opgaver der var beskrevet i tænke-højt-testen. Den anden tester noterede testpersoners adfærd, reaktioner og kommentarer. Alle tests blev dokumenteret ved hjælp af Zoom-optagelser. Testene var delt i tre dele – 1) til at begynde med blev testpersonen interviewet med nogle præ-spørgsmål for at få viden om deres ekspertise indenfor informationssøgning samt eventuel AI-drevet teknologisk kunnen, 2) derefter begyndte testen hands-on søgningerne i det AI-drevne søgesystem ved hjælp af den samme case-opgave og 3) efter at testen var gennemført, besvarede hver testperson et sæt spørgsmål, der var designet til at reflektere over søgningen og give deres tilfredshed med systemet.</p> <p> </p> <p>De fleste testpersoner beskrev Yewno som et opdagelsesværktøj. Den primære funktionalitet i Yewno er at udforske et emne frem for at være et værktøj der understøtter akademisk litteratursøgning. Selvom Yewno ikke blev betragtet som understøttende for en <em>systematisk</em> tilgang til søgning, påpegede testpersonerne, at Yewno godt kunne spille en supplerende rolle i den akademiske litteratursøgningsproces. Alle var enige om, at det nu kunne være nyttigt ved projektstart at udforske mere om et forskningsproblem, undersøge begreber, få overblik over indbyrdes forhold og mulige retninger i et forskningsområde og gennem serendipitet opdage nye og uventede begreber og relationer. Ligeledes den sømløse bevægelse fra det søgte begreb til fuldtekst af relevante artikler fik meget ros. Eksport og dokumentations muligheder var kritiseret for manglende tilpasningsmuligheder og en interaktiv søgninghistorik var savnet. Testpersoner blev bedt om at bedømme deres overordnede tilfredshed med Yewno på en skala fra 1 til 5 (5 er højeste/bedste bedømmelse), og den samlede tilfredsheds score for Yewno var 3.</p> <p> </p> <p>Den samlede oplevelse af Iris.ai bundede i at testpersonerne som udgangspunkt godt kunne lide systemets design, men de stod over for en skuffelse på grund af systemets manglende funktionalitet til at hjælpe med at sortere, filtrere og evaluere relevansen af det fundne materiale. Dette gjorde testpersonerne mistroiske over kvaliteten af Iris.ai. Stor forventning til strukturerede og avancerede søgninger gjorde testpersonerne frustrerede, fordi Iris.ai viste sig at være mere <em>‘explorative’</em>. I så fald så testpersonerne det som et nyttigt supplement til andre databaser. Flertallet mente, at tillid til resultatet kræver ekspertviden om både emnet og Iris.ai. Ydermere ville det være meget tidskrævende at opnå færdigheder i Iris.ai. Desuden blev testpersonerne bedt om at reflektere over evnen til at dokumentere deres arbejde i Iris.ai. Kun nogle var tilfredse med dokumentationen i forbindelse med deres søgning. Alle testpersoner fandt det skuffende, at de ikke kunne eksportere deres søgeresultat og referencer direkte til andre referenceprogrammer end Zotero. De var imidlertid tilfredse med mulighederne i Iris.ai for at eksportere til CSV og Excel. Dataene i de eksporterede filer var tilfredsstillende, men nogle ønskede, at Iris.ai også ville eksportere indholdet fra de fremsøgte <em>topics</em>. Tilfredshedsbedømmelserne var igen på en skala fra 1 til 5 (5 er højeste/bedste bedømmelse), og den samlede tilfredsheds score for Iris.ai var 2,8.</p> <p><br>  </p> <p>Iris.ai og Yewno’s metode til AI-drevet søgning er på baggrund af teknikker såsom beregningssemantik, grafteori og maskinlæring (Hoeppner, 2018). Resultaterne af tænke-højt-testene viser, at informationsspecialister påvirkes af deres baggrund inden for informationsvidenskab hvor de i kuraterede databaser arbejder med bloksøgninger, tesaurus og dokumentrepræsentationer. Det er meget tydeligt, at testsystemerne præsenterer en helt ny måde at arbejde med informationssøgning og litteratur reviews. Vores testpersoner syntes, det var interessant at dykke ned i disse systemer, men det frustrerede testpersonerne at de ikke kunne forstå, hvad der foregik "bag scenen" og i "maskinrummet". Forståelsen af systemarkitekturen er et meget vigtigt aspekt for informationsspecialister i forhold til undervisning, support, og yde professionel søgning- og forskningsstøtte af høj kvalitet. Både Iris.ai og Yewno konfronterede vores testpersoners faglige kompetence og udfordrede måden at søge og være systematisk på. Dette er en øjenåbner for brugen af AI-systemer i en bibliotekskontekst der kræver nye fagligheder og definitioner af hvad en akademisk søgning <em>kan være. Dette er </em>noget vi bør være meget opmærksomme på.</p> <p> </p> <p>I denne midtvejsrapport kunne vi ikke analysere om hvorvidt målene for hvordan akademisk søgning understøttes af AI systemerne og hvordan disse systemer kan skabe værdi for henholdsvis brugere og informationsfolk er nået. Der vil blive foretaget yderligere tests af flere forskellige brugertyper (forskere og studerende) i efteråret, så vi på baggrund af de allerede foretaget tænke-højt test i denne rapport, samt de forestående tests, kan vurdere effektiviteten og merværdien af de to systemer. Det er væsentligt at undersøge kvaliteten af de kilder systemerne søger nærmere i samt den akademiske kvalitet af de fremfundne dokumenter set fra brugerens perspektiv. Yderligere tests vil også omfatte brugernes faglige bedømmelse af relevans, om dokumentation og eksportmulighederne i systemerne opfylder deres forventninger til videnskabelige arbejde, metodologiske transparens og systemernes stabilitet.</p> <p> </p> <p>Med denne samlede indsigt i informationsspecialisters og brugernes (forskere/studerende) professionelle adfærd i skabelsen af videnskabelige produkter ved brug af ai-systemer, foreligger der os en samlet vurdering som vi kan inddrage i anbefalinger for implementering af ai-søgesystemer og support i KB infrastruktur og sammenhængen med nuværende services.</p&gt

Protocol: Hackathon to test the efficiency and value of ai-powered search systems Yewno and Iris.ai for users and staff at the Royal Library, Denmark

This project protocol proposes a hackathon to bring junior researchers, students and library staff together to collaborate on the test of two AI-powered search systems. The participants will work rapidly over a period of 6,5 hours to design research questions and search strategies, conduct searches in test systems and screen and describe related literature. The results will be sent for expert peer review to determine the quality of the results. Pre and post interviews with the participants will contribute to assessments of the value AI-powered search adds to the academic search process