Hallucination betecknar när en språkmodell genererar påståenden som är sakligt felaktiga, påhittade eller icke underbyggda men presenteras med samma flyt och självsäkerhet som korrekt information. Fenomenet följer av att modellen förutsäger sannolik text snarare än slår upp fakta: den optimerar för rimlighet, inte sanning. Typiska fall är uppfunna källor, felaktiga citat, fabricerade siffror och självsäkra svar på frågor utanför träningsdatan.

Hallucinationer är särskilt riskabla eftersom de ofta är språkligt övertygande, vilket gör dem svåra att upptäcka utan verifiering. Motmedel inkluderar RAG (grunda svar i hämtade källor), verktygsanvändning, bättre kalibrering, kedjeresonemang och att låta modellen uttrycka osäkerhet. Helt eliminerade är de inte i nuvarande generation av modeller.

För en AI som levererar faktapåståenden är detta skälet till att hårda siffror och källor alltid bör verifieras mot primärkälla och märkas med säkerhetsgrad.