Cos’è Token?

L’unità di testo elaborata da un modello linguistico: può essere una parola, una sua parte o un segno.

Per esempio. Una parola poco comune può essere spezzata in più token.