Den farligste AI-fejl ser ikke altid forkert ud. Den kan være grammatisk perfekt, nuanceret og forsynet med en opdigtet kilde. Sprogmodellens flydende form kan få mennesker til at forveksle sproglig sikkerhed med dokumenteret sandhed.

Hvorfor hallucinerer modellen?

En LLM genererer sandsynlige sekvenser af ord. Selv når systemet kan søge eller hente dokumenter, kan det misforstå en kilde, blande oplysninger sammen eller udfylde et hul med noget plausibelt. Problemet kan reduceres gennem bedre kilder, værktøjer og kontrol - men ikke ophæves med en magisk prompt.

Fire typer af fejl

• Faktuel opfindelse: En begivenhed, regel eller funktion findes ikke.
• Kildeopfindelse: Titel, forfatter, link eller citat er falsk.
• Fortolkningsfejl: Kilden findes, men siger ikke det, modellen hævder.
• Kontekstfejl: Oplysningen er korrekt i en anden periode, jurisdiktion eller situation.

Brug en kildehierarkisk metode

• Ved lovgivning: den vedtagne retsakt og kompetent myndighed før blogindlæg.
• Ved forskning: originalartikel eller anerkendt forskningsinstitution før omtale i medier.
• Ved produktfunktioner: leverandørens aktuelle dokumentation før gamle guides.
• Ved interne forhold: organisationens gældende dokument og ansvarlige ejer før modellens generelle viden.

Den dobbelte kontrol

Bed først AI om at skabe et udkast. Skift derefter rolle:

Du er nu kritisk faktatjekker. Lav en tabel med alle kontrollerbare påstande, den angivne kilde, det præcise sted i kilden og din vurdering: dokumenteret, delvist dokumenteret eller ikke dokumenteret. Du må ikke bruge dit første svar som kilde.

Dernæst skal et menneske åbne de vigtigste kilder. AI kan hjælpe med at organisere kontrollen; den kan ikke være eneste bevis for sin egen korrekthed.

Automationsbias

Mennesker har tendens til at følge et systems forslag, especielt når de er pressede, eller systemet virker autoritativt. Derfor er »human in the loop« ikke nok, hvis mennesket blot klikker godkend. Kontrollen skal være reel:

• Har kontrollanten den nødvendige faglighed?
• Har vedkommende tid?
• Kan output afvises uden organisatorisk straf?
• Er kilderne tilgængelige?
• Er det tydeligt, hvilke dele AI har produceret?

Høj konsekvens kræver højere bevis

Et kreativt udkast til en overskrift kan tåle fejl. En juridisk vurdering, et økonomisk estimat eller et notat om en medarbejder kan ikke. Organisationen bør fastsætte kontrolniveau efter konsekvens - ikke efter hvor imponeret brugeren er af modellen.

AI kan hjælpe med at organisere kontrollen; den kan ikke være eneste bevis for sin egen korrekthed.