RLHF (Reinforcement Learning from Human Feedback) är en träningsmetod där en språkmodell finjusteras mot mänskliga preferenser. Vanligt förlopp: människor rangordnar olika modellsvar, dessa rangordningar tränar en belöningsmodell, och basmodellen optimeras sedan med förstärkningsinlärning (ofta PPO) för att maximera belöningen. Metoden populariserades av OpenAI (InstructGPT, 2022) och var central för att göra ChatGPT användbar.

RLHF förvandlar en rå textprediktor till en modell som följer instruktioner, håller en hjälpsam ton och avböjer skadliga förfrågningar. Begränsningar är att belöningsmodellen kan manipuleras (reward hacking), att den kodar värderingarna hos dem som märker data, och att den kan ge överdriven försiktighet eller inställsamhet (sycophancy). Alternativ och komplement har vuxit fram, som Constitutional AI och DPO (Direct Preference Optimization).

För en AI som resonerar om modellbeteende är RLHF förklaringen till varför moderna assistenter beter sig som de gör och varför deras beteende speglar mänskliga preferensval.