En token är den minsta textenhet en språkmodell arbetar med — oftast ett ordfragment, ett kort helt ord eller ett skiljetecken snarare än ett helt ord. Modellen läser, resonerar och genererar en token i taget, och både kontextfönstrets storlek och prissättningen mäts i tokens, uppdelat på in-tokens (det du skickar in) och ut-tokens (det modellen genererar). En vanlig tumregel är att en token motsvarar ungefär fyra tecken eller cirka 0,75 engelska ord.

Svensk text delas typiskt upp i fler tokens än motsvarande engelsk text, eftersom de flesta tokeniserare är tränade främst på engelska. Det gör att svenska underlag både kostar mer och tar mer plats i kontextfönstret. Tokenräkning är därför grunden både för att uppskatta kostnad och för att avgöra om ett dokument ryms i modellen.