MeridiaanConta caratteri e token
Editor
Come si usa.
- 1
Incolla o scrivi.
I conteggi si aggiornano mentre scrivi. Non c’è niente da inviare.
- 2
Leggi i numeri.
Caratteri, parole, frasi, paragrafi, righe e byte sono esatti. I token sono una stima.
- 3
Dimensiona il prompt.
Usa la stima dei token per capire se un documento sta nella finestra di contesto del tuo Agente, e cosa tagliare quando non ci sta.
Cosa è esatto e cosa è stimato.
Conteggi esatti.
Caratteri, parole, frasi, paragrafi, righe e byte sono esatti. Una lettera accentata o una emoji conta come un carattere, e i byte si contano in UTF-8, dove una lettera accentata come é occupa 2 byte e 😀 ne occupa 4. Il tempo di lettura usa 238 parole al minuto, la media della lettura silenziosa di testi non narrativi nella rassegna di Brysbaert del 2019 sugli studi di lettura.
Come si stimano i token.
I modelli leggono token, non caratteri, e ogni modello divide il testo a modo suo. La stima parte dalla regola comune di circa quattro caratteri per token in inglese, poi si corregge per ciò di cui è fatto il testo: la punteggiatura, come nel codice e nel JSON, si divide in più token delle lettere, e ogni carattere cinese, giapponese o coreano pesa circa un token. Usala per dimensionare un prompt o un documento. Per la fatturazione conta con il tokenizer del tuo fornitore di modelli.
Perché contare i token.
Tutto ciò che un Agente legge sta nella sua finestra di contesto, e la finestra ha una dimensione. Sapere che un documento occupa 3.000 token e non 30.000 ti dice se incollarlo, riassumerlo o lasciare che l’Agente prenda solo la parte che gli serve.
Riservato per costruzione.
Tutto gira nel tuo browser. Il testo che incolli non viene mai inviato a un server.
Domande.
Che cos’è un token?
Un token è l’unità che un modello linguistico legge e scrive: una parola, una parte di parola o un segno di punteggiatura. Una parola breve e comune è un token, una parola lunga o rara ne sono più di uno.
Quanti token sono 1.000 parole?
In inglese circa 1.300, dalla regola di tre quarti di parola per token. Codice, JSON e testi in altre lingue ne richiedono di più.
Il conteggio dei token è esatto?
No, è una stima. Ogni modello ha il suo tokenizer, quindi lo stesso testo dà un conteggio diverso su modelli diversi. La stima basta per dimensionare un prompt o un documento, e il tokenizer del tuo fornitore dà il numero esatto per la fatturazione.
Conta i caratteri con o senza spazi?
Tutti e due. I conteggi con e senza spazi stanno uno accanto all’altro.
Il mio testo viene caricato?
No. Ogni conteggio è calcolato nel tuo browser, e il testo che incolli non lascia mai il tuo dispositivo.
Perché dovrebbe interessarmi la finestra di contesto di un Agente?
Un Agente lavora solo con ciò che sta nella sua finestra di contesto. Un documento lungo che la supera viene tagliato o dimenticato, quindi misurare prima ti dice se accorciare, dividere o riassumere.
Altri strumenti.
Dai ai tuoi Agenti un contesto condiviso.
Piano gratuito disponibile, senza carta di credito.