Ledelsesrapportering om AI i boligorganisationer

Det ville være rimeligt, hvis ledelsen er skeptisk over for endnu en rapport om AI. Den kan hurtigt ende som en blanding af tekniske ord, antal chats og en konklusion om, at projektet går godt.

Det er ikke et brugbart beslutningsgrundlag.

Ledelsesrapportering om AI i en boligorganisation bør gøre noget mere jordnært: vise hvilket problem løsningen skulle hjælpe med, hvad den faktisk blev brugt til, hvor den kom til kort, og hvad organisationen bør beslutte nu.

Rapportér om driften — ikke om teknologien

Ledelsen behøver sjældent en lang forklaring af sprogmodeller og teknisk opsætning. Den har brug for at forstå, hvad løsningen betyder for beboerservice og ejendomskontor.

En rapport bør derfor begynde med driftsopgaven:

• Hvilke beboerhenvendelser var løsningen sat til at håndtere?
• Hvilke dokumenter og godkendte sider måtte den bruge?
• Hvilke spørgsmål skulle altid videre til et menneske?
• Hvem havde ansvaret for at følge op på fejl og eskaleringer?
• Hvad var organisationens mål med perioden?

Det skaber en fælles ramme. Uden den kan et højt antal samtaler både se positivt og negativt ud, uden at nogen reelt ved hvorfor.

Fem punkter ledelsen bør kunne se

En kort rapport kan bygges op omkring fem faste punkter.

1. Formål og afgrænsning

Skriv først, hvad løsningen var sat i drift for at hjælpe med. Det kan for eksempel være gentagne spørgsmål om åbningstider, affald, vaskeri, husorden eller kontaktveje.

Skriv også, hvad den ikke skulle løse. Klager, konflikter, akutte forhold, personsager og spørgsmål, der kræver konkret vurdering, bør fremgå som tydelige grænser.

Afgrænsningen gør det muligt at vurdere løsningen på den opgave, den faktisk har fået — ikke på en forestilling om, at AI skal kunne svare på alt.

2. Brug og emner

Vis hvilke emner beboerne spurgte om, og hvordan brugen fordelte sig over perioden. Det er ofte mere nyttigt end ét samlet tal.

Et emneoverblik kan pege på:

• spørgsmål, der gentager sig
• information, som er svær at finde
• forskelle mellem afdelinger
• perioder med særligt mange spørgsmål
• områder, hvor beboerne bruger andre ord end organisationen

Mønstrene er ikke automatisk forklaringen. De er et sted at begynde den faglige undersøgelse.

3. Svargrundlag og videnshuller

En chatbot til beboerservice bør vurderes på sit svargrundlag. Rapporten bør derfor vise, om de relevante dokumenter og hjemmesidesider var tilgængelige og opdaterede.

Hvis chatbotten ikke kunne svare sikkert, er det vigtigt at skelne mellem mindst to situationer:

1. Svaret burde findes, men kilden mangler eller er uklar.
2. Spørgsmålet kræver menneskelig vurdering og skal ikke løses med et standardsvar.

Den forskel hjælper organisationen med at vælge den rigtige handling. I det første tilfælde kan en side eller videnbase forbedres. I det andet skal stop-reglen og kontaktvejen være tydelig.

4. Stop-regler og eskaleringer

Eskalering er ikke bare en restkategori. Den viser, om løsningen kender sin grænse.

Rapporten bør gøre det synligt:

• hvilke emner der oftest blev sendt videre
• om beboeren blev sendt til den rigtige funktion
• om medarbejderen fik tilstrækkelig kontekst til at overtage
• om akutte og følsomme spørgsmål stoppede tidligt nok
• om nogle eskaleringer skyldtes manglende eller uklare kilder

En stigende eskaleringsandel er derfor ikke nødvendigvis et dårligt tegn. Den kan skyldes bedre stop-regler, ændret brug eller flere spørgsmål, der ligger uden for chatbotens opgave. Tallene skal læses sammen med årsagen.

5. Næste beslutning

Rapporten skal slutte med et valg, ikke bare en status.

Ledelsen kan for eksempel skulle beslutte, om organisationen vil:

• fortsætte med samme afgrænsning
• tilføje eller opdatere bestemte kilder
• ændre en kontaktvej eller eskaleringsregel
• udvide til endnu et velafgrænset emne
• holde igen, mens et problem bliver undersøgt

Det er også legitimt at fortsætte uden ændringer, hvis driften er stabil og der ikke er et tydeligt forbedringsbehov.

Et konkret eksempel fra beboerservice

Forestil jer, at mange beboere spørger om storskrald. Rapporten viser samtidig flere ubesvarede spørgsmål og en del eskaleringer til ejendomskontoret.

Det kan være fristende at konkludere, at chatbotten ikke virker. Men rapporten bør først hjælpe ledelsen med at skelne:

• Er reglerne forskellige fra afdeling til afdeling?
• Ligger oplysningerne i et dokument, som ikke er koblet til den rigtige widget?
• Er datoer og afhentningssteder opdateret?
• Handler eskaleringerne om almindelig vejledning eller om konkrete tvister og gebyrer?

Den praktiske beslutning kan være at forbedre afdelingsinformationen og bevare eskalering ved tvister. Ikke at fjerne chatbotten — og heller ikke at lade den svare mere frit.

Undgå at gøre aktivitet til effekt

Antal samtaler, antal brugere og antal besvarede spørgsmål kan være relevante. Men de dokumenterer ikke i sig selv, at beboerservice er blevet bedre eller mindre belastet.

Hvis organisationen vil sige noget om effekt, skal den på forhånd have besluttet, hvad den sammenligner med, og hvilke andre forhold der kan have påvirket resultatet. En stille måned, ændrede åbningstider eller en ny beboerinformation kan også flytte antallet af henvendelser.

Derfor bør rapporten skelne mellem:

• aktivitet: hvad der skete i løsningen
• driftssignal: hvad mønstrene kan pege på
• dokumenteret effekt: hvad organisationen faktisk har et tilstrækkeligt grundlag for at konkludere

Det er bedre at skrive, at et mønster bør undersøges, end at gøre et usikkert tal til et resultat.

Ledelsen behøver ikke alle samtaledetaljer

En ledelsesrapport bør som udgangspunkt handle om samlede mønstre, videnshuller og beslutninger. Den behøver ikke gengive beboernes konkrete historier eller medarbejdernes håndtering af enkeltsager.

Det holder rapporten tæt på sit formål og mindsker risikoen for, at den bliver til unødig overvågning. Hvis en konkret samtale skal undersøges, bør der være en tydelig grund og passende adgang til oplysningerne.

Rapportering erstatter heller ikke organisationens almindelige vurdering af databeskyttelse, roller, sletning og adgang. Den kan gøre driften mere synlig, men den er ikke i sig selv en garanti for korrekt behandling.

En enkel skabelon til næste ledelsesmøde

Rapporten kan holdes på én eller få sider:

1. Opgaven: Hvad var chatbotten sat til at hjælpe med?
2. Perioden: Hvilke emner og mønstre så vi?
3. Kilderne: Hvor var svargrundlaget dækkende eller mangelfuldt?
4. Grænserne: Hvad blev eskaleret, og hvorfor?
5. Forbeholdene: Hvad kan data ikke fortælle os?
6. Handlingen: Hvad anbefaler drift og beboerservice at ændre, bevare eller undersøge?
7. Beslutningen: Hvad skal ledelsen tage stilling til?

Det giver en rapport, som en direktør, driftschef og leder af beboerservice kan tale ud fra uden først at oversætte et teknisk dashboard.

Hvor BeboerChatBot passer ind

BeboerChatBot samler samtaler, eskaleringer og indsigt i de emner, beboerne spørger om. Det kan bruges som et input til rapporteringen: top-emner, mønstre, manglende viden og de steder, hvor et menneske måtte overtage.

Inputtet bør læses sammen med den øvrige drift. Telefon, mail, fysisk fremmøde og medarbejdernes erfaringer kan vise noget, chatbotten ikke ser.

Hvis I vil vurdere det i jeres egen organisation, kan I enten begynde med en enkel rapportskabelon på jeres nuværende data eller se en demo af, hvordan samtaler, eskaleringer og indsigter hænger sammen. Begge dele kan være et fornuftigt næste skridt — og der er ingen grund til at udvide, før afgrænsningen fungerer.