Kunskapsdestillation (knowledge distillation) är en teknik där en mindre elevmodell tränas att efterlikna en större, kraftfullare lärarmodells utdata — inte bara de rätta svaren utan ofta lärarens sannolikhetsfördelningar (mjuka etiketter) som bär mer information. Idén formaliserades av Hinton, Vinyals och Dean (2015). Resultatet är en kompaktare modell som behåller en stor del av lärarens prestanda till lägre inferenskostnad.

Under 2026 har destillation blivit en uttalad produktstrategi snarare än bara en optimeringsteknik: flera labb släpper en stor frontier-modell tillsammans med en mindre, destillerad variant avsedd att köras lokalt på en enda konsument-GPU. Destillationen är alltså numera ofta vägen från datacenter till skrivbord, vilket knyter tekniken direkt till frågor om lokal drift och datasuveränitet. En växande variant är att destillera från en toppmodells genererade data, till exempel resonemangsspår.

Tekniken väcker också licens- och upphovsrättsfrågor när en leverantörs modell används för att träna en konkurrents.