O Que Conta Como um Token? Tokenização Explicada
Toda vez que você envia uma mensagem para o Claude, o texto que você digitou é convertido em uma sequência de tokens antes de ser processado.
//
Busque em todas as páginas da documentação
Toda vez que você envia uma mensagem para o Claude, o texto que você digitou é convertido em uma sequência de tokens antes de ser processado.
Um token não é uma palavra, uma frase ou um caractere - é um pedaço de texto em algum lugar entre eles, escolhido por um tokenizador de acordo com padrões aprendidos em enormes quantidades de texto.
Esta página detalha o que realmente é contado como um token, por que a contagem raramente corresponde a uma contagem simples de palavras e por que essa diferença é importante muito além da curiosidade.
Um tokenizador é o componente que converte texto bruto na sequência de tokens que um modelo realmente lê.
Ele funciona a partir de um vocabulário fixo de tokens possíveis, construído antecipadamente a partir de grandes quantidades de texto, de modo que padrões comuns recebam seu próprio token único, enquanto padrões mais raros são quebrados em pedaços menores.
Na prática, isso significa: uma palavra curta comum como "o", "é" ou "e" geralmente é um único token. Uma palavra mais longa ou menos comum, um nome ou um termo técnico é frequentemente dividido em duas ou mais partes de token - por exemplo, uma palavra incomum pode se tornar um token de prefixo comum mais um token de sufixo, mesmo que para você pareça uma única palavra.
Cada marca de pontuação geralmente conta como seu próprio token. Uma vírgula, um ponto, um ponto de interrogação e um conjunto de aspas são todos geralmente tokens separados das palavras ao redor deles. Espaços são tratados como parte dos tokens adjacentes, em vez de unidades totalmente separadas, e números são frequentemente divididos em pedaços curtos em vez de permanecerem como um token por string de dígitos.
Uma analogia útil: pense na tokenização menos como contar palavras em uma frase e mais como uma empresa de transporte quebrando a carga em caixas de tamanho padrão. Itens pequenos e comuns cabem perfeitamente em uma caixa. Um item de formato estranho ou incomum pode precisar ser dividido em duas ou três caixas para caber no mesmo sistema de embalagem. O número total de caixas (tokens) não se mapeia claramente ao número de itens (palavras) com os quais você começou.
Como uma regra geral aproximada para a prosa comum em inglês, espere cerca de três a quatro tokens para cada quatro palavras, o que significa que as contagens de tokens são um pouco maiores do que as contagens de palavras. Essa proporção muda para textos com muitas palavras raras, formatação incomum, idiomas não ingleses ou conteúdo estruturado, todos os quais tendem a tokenizar de forma menos eficiente do que o inglês conversacional simples.
Como a tokenização opera em um vocabulário fixo aprendido antecipadamente, diferentes tipos de texto tokenizam em diferentes densidades.
O inglês conversacional comum, que se baseia fortemente nas palavras e padrões mais frequentes nos dados de treinamento, tokeniza eficientemente - a maioria das palavras corresponde a um único token. Substantivos próprios incomuns, palavras inventadas ou termos de jargões especializados tokenizam de forma menos eficiente, muitas vezes se dividindo em duas, três ou mais partes porque o vocabulário do tokenizador não reservou um token único dedicado para eles.
O texto não inglês geralmente tokeniza de forma menos eficiente do que o inglês pelo mesmo motivo: o vocabulário foi moldado pela mistura geral do texto de treinamento, e idiomas que compõem uma parcela menor dessa mistura tendem a precisar de mais tokens para representar a mesma quantidade de significado.
É por isso também que colar código, tabelas, dados estruturados ou texto com formatação pesada em um chat pode consumir mais tokens do que a mesma quantidade de prosa simples. Símbolos repetidos, indentação e sequências de caracteres incomuns nem sempre se comprimem em tokens únicos da maneira que palavras comuns o fazem.
As consequências dessa diferença de densidade aparecem em três lugares ao mesmo tempo:
Nada disso exige que você calcule contagens exatas de tokens manualmente. O Claude.ai e a superfície da API subjacente mostram o uso de tokens diretamente, e a conclusão prática é mais simples: texto incomum, pesado em jargões, não inglês ou com formatação pesada tende a usar mais tokens do que inglês simples de comprimento aparente semelhante.
As escolhas de tokenização são incorporadas a um modelo no momento do treinamento e não são algo que você configura por conversa.
Diferentes modelos Claude compartilham uma abordagem amplamente semelhante para tokenização, mas o impacto prático da densidade de tokens difere dependendo do que você está fazendo com o modelo. Uma pergunta curta de chat raramente é afetada significativamente pela densidade de tokens. Uma tarefa de análise de documentos longos, uma grande colagem de dados estruturados ou uma solicitação envolvendo outro idioma é exatamente onde a densidade de tokens começa a importar tanto para o custo quanto para a quantidade de contexto que resta para a própria resposta do Claude.
| Tipo de Texto | Densidade Típica de Tokens | Impacto Prático |
|---|---|---|
| Inglês conversacional simples | Eficiente - próximo à regra geral de ~3-4 tokens por 4 palavras | Previsível, fácil de estimar |
| Jargão técnico, nomes próprios raros | Menos eficiente - frequentes divisões em múltiplos tokens | Custo e uso de contexto ligeiramente maiores do que o esperado pela contagem de palavras |
| Prosa não inglesa | Geralmente menos eficiente que o inglês | Custos e uso de contexto são maiores por palavra do que os equivalentes em inglês |
| Texto estruturado/formatado (tabelas, código, dados densos) | Frequentemente menos eficiente | Pode consumir notavelmente mais da janela de contexto do que seu comprimento aparente sugere |
Para quem trabalha com orçamentos apertados - uma longa colagem de pesquisa, uma análise de múltiplos documentos ou um fluxo de trabalho sensível a custos - a medida prática é manter o conteúdo colado focado no que é realmente necessário, e favorecer um modelo com uma janela de contexto maior (Claude Opus 4.8, Claude Sonnet 5 em configurações maiores, ou a janela de 1M de tokens do Claude Fable 5) quando o material genuinamente o exigir, em vez de tentar prever manualmente contagens exatas de tokens.
Um token é um pedaço de texto que o modelo lê e gera - frequentemente uma palavra curta inteira, às vezes um fragmento de palavra, um sinal de pontuação ou uma parte de um número.
Não. Palavras curtas comuns geralmente são um único token, mas palavras mais longas ou menos comuns frequentemente se dividem em duas ou mais partes de token.
Como regra geral, a prosa em inglês simples tem cerca de três a quatro tokens para cada quatro palavras, então as contagens de tokens são um pouco maiores do que as contagens de palavras.
Sim. Vírgulas, pontos, pontos de interrogação e aspas geralmente contam como seus próprios tokens separados.
Geralmente sim. O texto não inglês geralmente tokeniza de forma menos eficiente do que o inglês, porque o vocabulário reflete a mistura geral de texto de treinamento, que tende para o inglês.
Os modelos Claude são precificados por milhão de tokens de entrada e saída, então mais tokens para o mesmo conteúdo significam um custo mais alto, e textos menos eficientes em tokens custam mais por palavra do que textos eficientes em tokens.
Sim. As respostas geradas também são medidas em tokens e limitadas por um limite máximo de tokens de saída, então uma resposta densa em tokens pode atingir esse limite com menos palavras visíveis do que uma resposta eficiente em tokens.
O Claude.ai e a superfície da API mostram informações de uso de tokens, então você não precisa estimar manualmente se quiser um número exato para uma determinada conversa.
Sim. Como o vocabulário do tokenizador é construído a partir de padrões comuns em textos de treinamento, nomes raros e palavras inventadas são mais propensos a se dividir em várias partes de token do que o vocabulário comum.
Não. O tamanho da janela de contexto determina quantos tokens cabem no total; não muda como qualquer trecho de texto é dividido em tokens em primeiro lugar.
Não uma simples que possa ser calculada manualmente. O valor de três a quatro tokens por quatro palavras é uma estimativa útil para inglês simples, mas as contagens exatas dependem do tokenizador específico e do texto real.
Versões de Stack: Escrito com base na linha de modelos Claude atual em ~junho de 2026 - Claude Fable 5, Claude Opus 4.8, Claude Sonnet 5 (o padrão) e Claude Haiku 4.5. Nomes de modelos, preços e recursos de produtos mudam rapidamente - verifique os detalhes atuais em platform.claude.com/docs antes de confiar neles.
Revisado por Chris St. John·Última atualização: 16 de jul. de 2026