O Que Conta Como um Token? Tokenização Explicada
Toda vez que você envia uma mensagem para o Claude, o texto que você digitou é convertido em uma sequência de tokens antes de ser processado.
Um token não é uma palavra, uma frase ou um caractere - é um pedaço de texto em algum lugar entre eles, escolhido por um tokenizador de acordo com padrões aprendidos em enormes quantidades de texto.
Esta página detalha o que realmente é contado como um token, por que a contagem raramente corresponde a uma contagem simples de palavras e por que essa diferença é importante muito além da curiosidade.
Resumo
- Ideia Central: A tokenização divide seu texto em pedaços de subpalavras, e o Claude lê e gera esses pedaços, não caracteres brutos ou palavras inteiras.
- Por Que Importa: A precificação, os limites de uso e a janela de contexto são todos medidos em tokens, então um modelo mental de "quantos tokens isso tem aproximadamente" é genuinamente útil.
- Conceitos Chave: tokens, unidades de subpalavra, tokens de espaço em branco e pontuação, proporção token-palavra, vocabulário.
- Quando Usar: Útil sempre que você estiver estimando custo, se perguntando por que um texto colado "gastou" mais da janela de contexto do que o esperado, ou comparando preços de modelos.
- Limitações / Trade-offs: Não há uma fórmula perfeitamente simples - a contagem exata de tokens para um determinado trecho de texto depende do tokenizador específico, e não é algo que você possa calcular visualmente com certeza.
- Tópicos Relacionados: janelas de contexto, precificação de modelos, comprimento do prompt, limites de comprimento de saída.
Fundamentos
Um tokenizador é o componente que converte texto bruto na sequência de tokens que um modelo realmente lê.
Ele funciona a partir de um vocabulário fixo de tokens possíveis, construído antecipadamente a partir de grandes quantidades de texto, de modo que padrões comuns recebam seu próprio token único, enquanto padrões mais raros são quebrados em pedaços menores.
Na prática, isso significa: uma palavra curta comum como "o", "é" ou "e" geralmente é um único token. Uma palavra mais longa ou menos comum, um nome ou um termo técnico é frequentemente dividido em duas ou mais partes de token - por exemplo, uma palavra incomum pode se tornar um token de prefixo comum mais um token de sufixo, mesmo que para você pareça uma única palavra.
Cada marca de pontuação geralmente conta como seu próprio token. Uma vírgula, um ponto, um ponto de interrogação e um conjunto de aspas são todos geralmente tokens separados das palavras ao redor deles. Espaços são tratados como parte dos tokens adjacentes, em vez de unidades totalmente separadas, e números são frequentemente divididos em pedaços curtos em vez de permanecerem como um token por string de dígitos.
Uma analogia útil: pense na tokenização menos como contar palavras em uma frase e mais como uma empresa de transporte quebrando a carga em caixas de tamanho padrão. Itens pequenos e comuns cabem perfeitamente em uma caixa. Um item de formato estranho ou incomum pode precisar ser dividido em duas ou três caixas para caber no mesmo sistema de embalagem. O número total de caixas (tokens) não se mapeia claramente ao número de itens (palavras) com os quais você começou.
Como uma regra geral aproximada para a prosa comum em inglês, espere cerca de três a quatro tokens para cada quatro palavras, o que significa que as contagens de tokens são um pouco maiores do que as contagens de palavras. Essa proporção muda para textos com muitas palavras raras, formatação incomum, idiomas não ingleses ou conteúdo estruturado, todos os quais tendem a tokenizar de forma menos eficiente do que o inglês conversacional simples.
Mecânicas e Interações
Como a tokenização opera em um vocabulário fixo aprendido antecipadamente, diferentes tipos de texto tokenizam em diferentes densidades.
O inglês conversacional comum, que se baseia fortemente nas palavras e padrões mais frequentes nos dados de treinamento, tokeniza eficientemente - a maioria das palavras corresponde a um único token. Substantivos próprios incomuns, palavras inventadas ou termos de jargões especializados tokenizam de forma menos eficiente, muitas vezes se dividindo em duas, três ou mais partes porque o vocabulário do tokenizador não reservou um token único dedicado para eles.
O texto não inglês geralmente tokeniza de forma menos eficiente do que o inglês pelo mesmo motivo: o vocabulário foi moldado pela mistura geral do texto de treinamento, e idiomas que compõem uma parcela menor dessa mistura tendem a precisar de mais tokens para representar a mesma quantidade de significado.
É por isso também que colar código, tabelas, dados estruturados ou texto com formatação pesada em um chat pode consumir mais tokens do que a mesma quantidade de prosa simples. Símbolos repetidos, indentação e sequências de caracteres incomuns nem sempre se comprimem em tokens únicos da maneira que palavras comuns o fazem.
As consequências dessa diferença de densidade aparecem em três lugares ao mesmo tempo:
- Uso da janela de contexto. Um texto mais denso (menos eficiente em tokens) consome uma parcela maior do orçamento de tokens do que sua contagem de palavras sozinha sugeriria.
- Precificação. Os modelos Claude são precificados por milhão de tokens de entrada e saída, então textos com alta densidade de tokens custam mais por palavra do que textos eficientes em tokens com o mesmo modelo.
- Comprimento da saída. As respostas do Claude também são geradas em tokens, então um limite máximo de tokens de saída atinge o teto mais cedo em tokens, não em palavras - uma resposta densa em tokens atinge esse limite mais rapidamente.
Nada disso exige que você calcule contagens exatas de tokens manualmente. O Claude.ai e a superfície da API subjacente mostram o uso de tokens diretamente, e a conclusão prática é mais simples: texto incomum, pesado em jargões, não inglês ou com formatação pesada tende a usar mais tokens do que inglês simples de comprimento aparente semelhante.
Considerações Avançadas e Aplicações
As escolhas de tokenização são incorporadas a um modelo no momento do treinamento e não são algo que você configura por conversa.
Diferentes modelos Claude compartilham uma abordagem amplamente semelhante para tokenização, mas o impacto prático da densidade de tokens difere dependendo do que você está fazendo com o modelo. Uma pergunta curta de chat raramente é afetada significativamente pela densidade de tokens. Uma tarefa de análise de documentos longos, uma grande colagem de dados estruturados ou uma solicitação envolvendo outro idioma é exatamente onde a densidade de tokens começa a importar tanto para o custo quanto para a quantidade de contexto que resta para a própria resposta do Claude.
| Tipo de Texto | Densidade Típica de Tokens | Impacto Prático |
|---|---|---|
| Inglês conversacional simples | Eficiente - próximo à regra geral de ~3-4 tokens por 4 palavras | Previsível, fácil de estimar |
| Jargão técnico, nomes próprios raros | Menos eficiente - frequentes divisões em múltiplos tokens | Custo e uso de contexto ligeiramente maiores do que o esperado pela contagem de palavras |
| Prosa não inglesa | Geralmente menos eficiente que o inglês | Custos e uso de contexto são maiores por palavra do que os equivalentes em inglês |
| Texto estruturado/formatado (tabelas, código, dados densos) | Frequentemente menos eficiente | Pode consumir notavelmente mais da janela de contexto do que seu comprimento aparente sugere |
Para quem trabalha com orçamentos apertados - uma longa colagem de pesquisa, uma análise de múltiplos documentos ou um fluxo de trabalho sensível a custos - a medida prática é manter o conteúdo colado focado no que é realmente necessário, e favorecer um modelo com uma janela de contexto maior (Claude Opus 4.8, Claude Sonnet 5 em configurações maiores, ou a janela de 1M de tokens do Claude Fable 5) quando o material genuinamente o exigir, em vez de tentar prever manualmente contagens exatas de tokens.
Equívocos Comuns
- "Um token é uma palavra." Um token é frequentemente uma palavra, mas frequentemente um fragmento de palavra, um sinal de pontuação ou uma parte de um número - a contagem de palavras e a contagem de tokens estão relacionadas, mas não são iguais.
- "Posso contar tokens contando palavras e multiplicando por um." A proporção é mais próxima de três a quatro tokens por quatro palavras para inglês simples, e muda significativamente para jargões, código, tabelas ou outros idiomas.
- "Palavras mais longas sempre usam mais tokens do que as mais curtas." Palavras longas comuns ainda podem ser um único token se aparecerem com frequência nos dados de treinamento; a raridade importa mais do que o comprimento bruto.
- "A tokenização é a mesma em todos os idiomas e formatos." Texto não inglês e conteúdo estruturado ou formatado geralmente tokenizam de forma menos eficiente do que a prosa em inglês simples.
- "A contagem de tokens só importa para a precificação." Ela também determina diretamente quanta da janela de contexto uma mensagem consome e quão longa pode ser uma resposta gerada antes de atingir um limite de saída.
FAQs
O que é um token, em termos simples?
Um token é um pedaço de texto que o modelo lê e gera - frequentemente uma palavra curta inteira, às vezes um fragmento de palavra, um sinal de pontuação ou uma parte de um número.
Um token é sempre uma palavra?
Não. Palavras curtas comuns geralmente são um único token, mas palavras mais longas ou menos comuns frequentemente se dividem em duas ou mais partes de token.
Aproximadamente quantos tokens há em uma frase média?
Como regra geral, a prosa em inglês simples tem cerca de três a quatro tokens para cada quatro palavras, então as contagens de tokens são um pouco maiores do que as contagens de palavras.
Sinais de pontuação contam como tokens?
Sim. Vírgulas, pontos, pontos de interrogação e aspas geralmente contam como seus próprios tokens separados.
Por que colar código ou uma tabela às vezes usa mais tokens do que texto simples de comprimento semelhante?
- Conteúdo estruturado e formatado frequentemente inclui símbolos repetidos e indentação.
- Esses padrões nem sempre se comprimem em tokens únicos da maneira que palavras comuns em inglês o fazem.
- O resultado é uma contagem de tokens mais densa em relação ao comprimento visível do caractere.
Escrever em um idioma diferente do inglês usa mais tokens?
Geralmente sim. O texto não inglês geralmente tokeniza de forma menos eficiente do que o inglês, porque o vocabulário reflete a mistura geral de texto de treinamento, que tende para o inglês.
Por que a contagem de tokens importa para a precificação?
Os modelos Claude são precificados por milhão de tokens de entrada e saída, então mais tokens para o mesmo conteúdo significam um custo mais alto, e textos menos eficientes em tokens custam mais por palavra do que textos eficientes em tokens.
A contagem de tokens afeta o quão longa pode ser a resposta do Claude?
Sim. As respostas geradas também são medidas em tokens e limitadas por um limite máximo de tokens de saída, então uma resposta densa em tokens pode atingir esse limite com menos palavras visíveis do que uma resposta eficiente em tokens.
Posso ver exatamente quantos tokens minha mensagem usou?
O Claude.ai e a superfície da API mostram informações de uso de tokens, então você não precisa estimar manualmente se quiser um número exato para uma determinada conversa.
Nomes próprios raros e palavras inventadas são tratados de forma diferente?
Sim. Como o vocabulário do tokenizador é construído a partir de padrões comuns em textos de treinamento, nomes raros e palavras inventadas são mais propensos a se dividir em várias partes de token do que o vocabulário comum.
Uma janela de contexto maior muda como a tokenização funciona?
Não. O tamanho da janela de contexto determina quantos tokens cabem no total; não muda como qualquer trecho de texto é dividido em tokens em primeiro lugar.
Existe uma única fórmula simples para calcular a contagem de tokens exatamente?
Não uma simples que possa ser calculada manualmente. O valor de três a quatro tokens por quatro palavras é uma estimativa útil para inglês simples, mas as contagens exatas dependem do tokenizador específico e do texto real.
Relacionados
- Como uma Conversa do Claude Realmente Funciona - onde a tokenização se encaixa no pipeline completo de mensagens.
- Janelas de Contexto: Por Que o Claude Tem um Limite de Memória - como as contagens de tokens se somam contra um orçamento fixo.
- Noções Básicas de Contexto, Tokens e Conversas - uma primeira olhada prática em tokens em uma conversa real.
- Temperatura, Top-p e Top-k: Controlando a Aleatoriedade do Claude - como as escolhas de tokens individuais durante a geração são controladas.
Versões de Stack: Escrito com base na linha de modelos Claude atual em ~junho de 2026 - Claude Fable 5, Claude Opus 4.8, Claude Sonnet 5 (o padrão) e Claude Haiku 4.5. Nomes de modelos, preços e recursos de produtos mudam rapidamente - verifique os detalhes atuais em platform.claude.com/docs antes de confiar neles.