Dokumentation af chatbot-effekt

Det er let at sige, at en chatbot hjælper. Det er sværere at vise, hvad den faktisk ændrer i hverdagen.

For en boligorganisation er det ikke nok, at løsningen ser aktiv ud. Den skal kunne dokumenteres som en reel hjælp i beboerservice, ellers bliver den hurtigt en fornemmelse i stedet for et driftsværktøj.

Det er det, dokumentation af chatbot-effekt handler om. Ikke om at pynte på et projekt. Men om at kunne se, om belastningen flytter sig, om beboeren hurtigere får svar, og om medarbejderne bliver aflastet på de rigtige steder.

Hvorfor dokumentation overhovedet er nødvendig

Mange projekter bliver vurderet på stemning. Man kan godt høre, at noget opleves som nyttigt. Men hvis ledelse, bestyrelse og medarbejdere skal bruge det til noget, må effekten også kunne vises tydeligt.

Det gælder især i beboerservice, hvor problemerne ofte er små hver for sig, men store i mængde. Hvis samme spørgsmål dukker op igen og igen, er det ikke nok at vide, at det føles travlt. Man skal kunne se, hvad der fylder, og hvor det burde løses anderledes.

Dokumentation er derfor ikke pynt. Det er en del af ansvarlig drift.

Hvad der faktisk er værd at måle

En god rapport er enkel. Den viser ikke alt. Den viser det, der siger noget om hverdagen.

De mest brugbare spor er ofte:

• hvilke emner beboerne spørger om
• hvor ofte chatbotten må sende sagen videre
• om beboeren får svar hurtigere end før
• hvilke spørgsmål der bliver løst uden menneskelig indgriben
• om der er mønstre, som peger på uklare rutiner eller dårlig information

Det er nyttige mål, fordi de fortæller noget om både belastning og kvalitet. Ikke bare aktivitet.

Tre ting dokumentationen skal kunne svare på

1. Fjerner chatbotten gentagelser?

Hvis beboerservice bruger tid på de samme forklaringer igen og igen, er det ofte dér, en chatbot kan hjælpe.

Dokumentationen skal vise, om de gentagne henvendelser faktisk fylder mindre efterhånden. Ellers ved man ikke, om løsningen aflaster eller bare ligger oven på den eksisterende drift.

2. Går de svære sager det rigtige sted hen?

En chatbot må gerne være god til at sige, at den ikke kan svare sikkert.

Det vigtige er, at den gør det korrekt. Hvis sager om konflikt, akutte forhold, persondata eller uklare regler bliver hængende for længe i chatbotten, er det et problem. Dokumentationen skal derfor også vise, hvor eskaleringen sker, og om den sker ordentligt.

3. Kan ledelsen bruge tallene til noget?

En rapport er kun nyttig, hvis den hjælper med beslutninger.

Ledelsen har brug for at vide, om der er et servicepres, et informationsproblem eller et kapacitetsproblem. Hvis dokumentationen ikke hjælper med at skelne mellem de ting, er den ikke meget værd.

Det, der ofte bliver overset

Der er tre ting, mange overser, når de måler effekt.

Dokumentation skal være stabil, ikke spektakulær

Et kortvarigt fald i henvendelser er ikke nødvendigvis et tegn på succes. Det kan være tilfældigt. Det er mere interessant, om der over tid ses et mønster, som kan genkendes og bruges.

Ikke alt kan måles direkte

Nogle effekter er indirekte. Hvis beboeren møder et bedre svar første gang, betyder det mindre afbrydelse senere. Hvis medarbejderne slipper for gentagelser, får de mere tid til de sager, der kræver skøn.

Det er reelle effekter, men de skal forklares nøgternt.

En højere eskalering er ikke automatisk et nederlag

Hvis flere sager sendes videre til et menneske, kan det være et tegn på, at grænserne er sat rigtigt. Det afgørende er ikke, at chatbotten tager alt. Det afgørende er, at den tager det, den bør tage.

Hvad en seriøs ledelsesrapport bør indeholde

En ledelsesrapport behøver ikke være tung. Den skal være forståelig.

Typisk bør den kunne svare på:

• hvad fylder mest
• hvad er løst automatisk
• hvad sendes videre
• hvor opstår friktion
• hvad bør vi ændre i information, proces eller bemanding

Det er samme logik, som også bruges i rapporter til ledelse om beboerhenvendelser. Dokumentation af chatbot-effekt bliver bare den mere konkrete version af det billede.

Sådan starter man uden at overkomplicere det

Start med få mål.

Vælg de målepunkter, der faktisk kan forklares i en mødesal uden slides fulde af støj. Det er ofte bedre med tre gode indikatorer end ti uklare.

Det kan for eksempel være:

• de mest stillede emner
• hvor ofte der eskaleres
• om beboeren hurtigere kommer videre

Når det er på plads, kan man udvide. Men først skal organisationen kunne læse resultaterne uden at gætte.

Hvad dokumentationen hjælper jer med at beslutte

God dokumentation gør det lettere at beslutte:

• om chatbotten skal fortsætte
• hvilke emner der skal justeres
• hvor der stadig mangler menneskelig håndtering
• hvilke dele af beboerservice der bør forbedres først

Det er derfor dokumentation er mere end rapportering. Den gør det muligt at styre løsningen med ro i maven i stedet for med håb.

Hvis I vil vurdere effekten nøgternt

Det bedste sted at begynde er med få, faste mål og en ærlig grænse for, hvad chatbotten ikke skal løse.

Så bliver det synligt, om løsningen faktisk aflaster beboerservice, eller om den bare flytter rundt på arbejdet.

Læs også rapporter til ledelse om beboerhenvendelser, chatbot til boligorganisationer og AI til beboerservice, hvis I vil koble effekt, drift og beslutningsgrundlag sammen.