Erfaringer med chatbot-teknologi. Det Kgl. Biblioteks centrale kontaktservice ”Spørg biblioteket” har det seneste år været suppleret med en virtuel assistent

Hansen, Jan Erik

Madsen, Heidi Holst

English

Copenhagen Business School: CBS Open Journals

 REVY NR. 2   |   SOMMER   |   2022 3Af Jan Erik Hansen, jaha@kb.dk og  Heidi Holst Madsen, hhma@kb.dk Der var skeptiske tanker til stede, da pilotprojekt ”KB Chatbot” blev igangsat tilbage i vinteren 2020. Handlede det om at spare ressourcer og måske ned-justere på personale og bemanding i ”Spørg biblioteket”-vagten?I projektbeskrivelsen lød det mere visionært: ”Formålet er at undersøge mulighederne for anvendelse af chat-bot-teknologi i mødet med brugerne på en digital og dialogbaseret platform. Projektet skal give erfaringer med tek-nologien, de krav den stiller til organi-sationen samt de muligheder den giver for at forbedre bibliotekets service.”Her mere et år senere – og mange erfaringer rigere – kan vi fra projektet sagtens konkludere, at chatbotten både fik taget os med storm og blæst en del skepsis væk, i forhold hvad den faktisk har formået at besvare, og hvordan den har suppleret i forhold til de almindelige personalerutiner og i forhold til åbningstider. Men teknologien kræver mange ar-bejdstimer i opbygningsfasen. Og vil også komme til at kræve timer frem-adrettet, når vi taler en egentlig drifts-situation på den anden side af det nuværende projekt.Erfaringer med chatbot-teknologi. Det Kgl. Biblioteks centrale kontaktservice ”Spørg biblioteket” har det  seneste år været suppleret med en virtuel assistent.  På mest godt og lidt mindre ondt.Chatbotten har fungeret som en brug-bar assistent i forhold til eksterne brugere og specielt til forespørgsler uden for den bemandede åbningstid i kontaktcenteret.Den har også fungeret som en supple-rende vidensbank for de medarbejdere, som dækker vagter. Chatbotten har akkumuleret viden fra alle dele af Det Kgl. Bibliotek, fra de mange forskellige afdelinger, services og specialister. Mere end den enkelte medarbejder kan rumme og overskue.I am charging my battery, now I am full of energy. I am the Robot DOI: 10.22439/revy.v%vi%i.6628 REVY NR.  2   |   SOMMER   |   20224Formen formesDet norske firma Boost AI leverede softwaren til chatbotten. Samme soft-ware gemmer sig bag det fælles kom-munale chatbot-projekt, Kommune Kiri, der assisterer borgerservice på 6 dan-ske kommunale websites. Med inspira-tion igen fra Norge, hvor 60 kommuner deltager i et lignende samarbejde.Den første fase af oplæring og imple-mentering foregik sammen med Boost AI’s danske agenter, Deloitte Consul-ting.Arbejdet begyndte med at definere et scope. En ramme for, hvad chatbotten skulle kunne svare på. Den ville selv-følgelig aldrig kunne svare på alt, men vi definerede 5 hovedområder som udgangspunkt. Punkter hvor brugeren altid kunne forvente at få et brugbart svar.• Lån af materialer (søgning,   bestilling, afhentning, aflevering)• Adgang til fysiske biblioteker og  deres faciliteter (åbningstider,   adresser, kopi/scan)• Adgang til elektroniske materialer  (fjernadgang, login-problematikker,   ophavsret) • Guide i bibliotekets materialer   (fra aviser til specialer og   specialsamlinger)KursustilbudEftersom botten skulle operere i Spørg Bibliotekets regi, var udgangspunktet de reelle forespørgsler, som vi modtog i tjenesten. Der skulle vægtes mod det praktiske og konkrete, lån og af-levering af materialer, men også mod adgange til e-ressourcer, kurser og særsamlinger. Botten skulle agere som assistent på de websider, hvor ”Spørg biblioteket” i forvejen var som formular og kontakt. Men den skulle ikke være på forsiden af www.kb.dk eller som en widget i bibliotekssystemet. Målretningen blev Spørg Bibliotekets kontaktside på www.kb.dk, AU Library, library.au.dk, og Københavns Universitetsbibliotek, kub.ku.dk.Vi lærer og botten opladesNæste fase blev at opbygge bottens interne forståelse op omkring de 5 om-råder. Det handlede om at fodre maski-nen, for det er reelt machine learning, med relevante fraser og ord opsat i et hierarki som gik fra det generelle til det specifikke. I virkeligheden meget bibliotekarisk arvegods.Hos Boost AI og lignende software ar-bejder man med intents, dialoger, hvor hver rummer vigtige ord, som robotten skal indlære og vægte, og samtidig kunne matche med brugernes henven-delser, så de lander korrekt i hierarkiet, og derved giver brugeren et korrekt feedback. Hvert svar blev krydschecket. Alt skulle være korrekt og helt opdateret, uanset om svaret blev regulær tekst, eller blev en mere kompliceret struktur, hvor brugeren kunne vælge mellem forskel-lige muligheder, spørger du til A eller spørger du til mulighed B, nyt svar og så videre. Eller den tredje model: Et svar kunne være et link til eksterne hjemmesider. Som eksempel er Det Kgl. Bibliotek til-stede på rigtigt mange adresser rundt i landet, alle med forskellige åbnings-tider. Det ville kræve alt for mange ressourcer at opsætte et specifikt svar for hvert enkelt bibliotek og holde dem opdateret. Derfor skulle botten lære, at en simpel brugerhenvendelse som ”Hvornår har KUB Nord åbent i dag?” skulle oversættes til en generel kontekst, hvor det samme spørgsmål kunne handle om AU Katrinebjerg eller hvilken som helst anden lokation.Svaret måtte derfor blive en samling af links til de forskellige websider med opdaterede åbningstider.Lignende problematikker blev relevan-te, når der blev spurgt til forskellige databaser. Det blev en umulig opgave at konstruere svar for hver eneste base eller tidsskrift. Igen måtte vi lave ge- REVY NR. 2   |   SOMMER   |   2022 5nerelle svar omkring adgangsmulighe-derne og login. Der var undtagelser som PubMed og Karnov, eller det allerbedste eksempel: Mediestream. Vi konstaterede hurtigt på mængden af spørgsmål, at den sær-lige adgang krævede, at botten svare-de specifikt omkring Mediestream, for at det overhovedet skulle give værdi for brugeren.Vi går i luftenSelve opbygningen af botten arbej-dede vi med et par måneder, inden vi gik i luften med den første prototype i marts 2021.”Go Live” blev første rigtige læring. Under opbygningen af scope havde vi udelukkende arbejdet med egne test-data, som botten skulle forholde sig til. Nu fik vi rigtige brugerhenvendelser ind og så meget hurtigt et par store udfordringer i øjnene.Ikke alle brugere forstod, at de chatte-de med en robot. De forvekslede den ofte med en menneske-chat.Mange brugere forvekslede botten med en søgemaskine, og troede at den kunne finde frem til konkrete artikler/bøger. Eller simpelthen lave en em-nesøgning for dem. ”Har i Interview af Steinar Kvale”, eller ”Kan jeg låne Hær-værk af Tom Kristensen”. Spørgsmål af den type myldrede ind.Ingen af de problematikker har vi – nu et år efter chatbotten gik i luften – fundet helt tilfredsstillende løsninger på. At ikke alle brugere forstår, at der fak-tisk ikke er en bibliotekar bag svarene, det må vi leve med. Det er teknologi-ens vilkår, når man forsøger at illudere hjælpende assistent også langt uden for normal åbning- og arbejdstid.Det bør nævnes, at i åbningstiden (hverdage 9-15) har det været muligt for brugerne at komme igennem til en almindelig chat med en medarbejder, hvis de aktivt beder om det eller chat-botten slet ikke forstår spørgsmålet.At eliminere brugernes forestilling om, at botten faktisk kunne hjælpe dem med at søge konkrete bøger, artikler eller emner i Det Kgl. Biblioteks sy-stem, blev langt mere kompliceret. Vi forsøgte at hjælpe på vej, for derefter at konstatere, at ingen brugere reelt gjorde som vi gerne ville have dem til, når det handlede om at bruge botten som søge-assistent. Det fik vi underbygget via en kvik UX-test med et par af vores studentermed-hjælpere. Den knastørre konstatering blev, at det var svært at få brugerne til at læse sig igennem en alt for lang og kompliceret introduktionstekst med for mange valgmuligheder.Når chatbotten åbnede på websiderne, åbnede den også straks for at chatte og skrive spørgsmål. Først derefter blev svarene interessante for brugerne.Vi endte, hvor vi begyndte. Enten chat-ter man med botten, eller også klikker man sig videre til bibliotekssystemet. Det vil sige, at brugeren præsenteres for et link til litteratursøgning, før sel-ve chat-feltet. Det fungerer stadig ikke optimalt. Men det fungerer dog og foregiver ikke noget. Hvis ellers brugeren forbliver marginalt opmærksom.Hvad statistikken fortællerVi har haft ca. 4.500 chatbotsamtaler fra marts 2021 til og med april 2022.Chatbotten har svaret korrekt eller del-vist korrekt (svaret var måske ikke helt udtømmende ift. brugerens specifikke spørgsmål, eller brugeren stillede flere spørgsmål, hvor chatbotten ikke kunne svare korrekt på alle) på i gennemsnit 60 % af henvendelserne, men det har rykket sig fra kun 46 % i marts 2021 til 71 % i april 2022 efterhånden som vi har udvidet scope, justeret svar og finpudset chatbottens genkendelse af spørgsmålene. Chatbotten har i gennemsnit misforstået 6 % af henvendelserne, men i april 2022 er tallet nået helt ned på 2 %. Det Kgl. Biblioteket er en meget stor og kompleks størrelse med mange services, som tager tid at få dækket ind i chatbotten. I marts 2021 var 48 % af henvendelserne uden for scope, mens det i april 2022 kun var 27 %.Størstedelen af henvendelserne, der stadig er uden for scope, skyldes i al overvejende grad ovennævnte proble-matik: at brugere forventer, at botten vil kunne udføre konkrete søgninger for dem. REVY NR.  2   |   SOMMER   |   20226I forhold til impact på ”Spørg bibli-oteket” har vi set, at henvendelser via kontaktformularerne har været faldende under projektperioden, Det indikerer, at chatbotten fungerer som den first-line support, som også var en del af intentionen med projektet. Med andre ord søger flere brugere svar via botten og behøver ikke at henvende sig via kontaktformularen, hvis chat-botten hjælper dem.I forhold til at forbedre vores 24/7-ser-vice foregår ca. 40 % af chatbotsam-talerne uden for Spørg Bibliotekets åbningstid (hverdage 9-15). Sammenfattende kan vi sige, at det har været det værd. En chatbot kan gøre nytte, men den kræver tid i op-bygningsfasen, og skal fortsat vedlige-holdes og finjusteres. En chatbot bliver kun så god, som dens ”ejere” tillader.En ekstra bonus er den ekstra videns-base for medarbejderne, som botten også har leveret.Alt dette er mundet ud, at vi fortsætter projektet. Fra at være pilot og ekspe-riment, overgår det nu til et egentlig 3-årigt projekt.En chatbot er et softwareprogram, typisk cloud-baseret, som anvender  Artificial Intelligence (AI) og Natural Language Processing (NLP) til  at forstå spørgsmål og initiere svar, der simulerer en (relativt) naturlig  samtale i tekst eller tale med en bruger. 

I am charging my battery, now I am full of Energy. I am the Robot

Copenhagen University Research Information System

https://rauli.cbs.dk/index.php/revy/article/download/6628/7144

I am charging my battery, now I am full of Energy. I am the Robot

Abstract

Similar works

Full text

Available Versions

Copenhagen Business School: CBS Open Journals

Copenhagen University Research Information System