Kontextfönstret är den mängd text, mätt i tokens, som en språkmodell kan ha framför sig samtidigt — allt den ser på en gång, inklusive systeminstruktioner, tidigare meddelanden och det underlag du matat in. Ryms inte allt i fönstret måste något klippas bort eller sammanfattas, och modellen tappar då tillgång till det. Fönstren har vuxit kraftigt, från några tusen tokens till hundratusentals eller mer i moderna modeller.

Ett stort fönster gör det möjligt att arbeta med hela dokument eller långa samtal, men kostar mer och kan ge sämre precision när viktig information göms mitt i ett mycket långt underlag. Kontextfönstret är inte modellens minne mellan sessioner — när samtalet tar slut är innehållet borta om det inte sparats separat. Att förstå fönstrets gräns är avgörande för att strukturera underlag så att det viktigaste kommer med.