//
Busca en todas las páginas de la documentación
Cada vez que envías un mensaje a Claude, el texto que has escrito se convierte en una secuencia de tokens antes de ser procesado.
Un token no es una palabra, una oración ni un carácter; es un fragmento de texto intermedio, elegido por un tokenizador según patrones aprendidos de enormes cantidades de texto.
Esta página desglosa qué se cuenta realmente como un token, por qué el recuento rara vez coincide con un recuento de palabras simple y por qué esa diferencia es importante más allá de la simple curiosidad.
Un tokenizador es el componente que convierte el texto sin procesar en la secuencia de tokens que un modelo realmente lee.
Funciona a partir de un vocabulario fijo de tokens posibles, construido de antemano a partir de grandes cantidades de texto, de modo que los patrones comunes obtienen su propio token único, mientras que los patrones más raros se dividen en piezas más pequeñas.
En la práctica, eso significa: una palabra corta común como "el", "es" o "y" suele ser un solo token. Una palabra más larga o menos común, un nombre o un término técnico a menudo se divide en dos o más fragmentos de token; por ejemplo, una palabra poco común podría convertirse en un token de prefijo común más un token de sufijo, aunque para ti se lea como una sola palabra.
Cada marca de puntuación suele contar como su propio token. Una coma, un punto, un signo de interrogación y un conjunto de comillas suelen ser tokens separados de las palabras que los rodean. Los espacios se manejan como parte de los tokens adyacentes en lugar de como unidades completamente separadas, y los números a menudo se dividen en fragmentos cortos en lugar de permanecer como un token por cadena de dígitos.
Una analogía útil: piensa en la tokenización menos como contar palabras en una oración y más como una empresa de transporte que divide la carga en cajas de tamaño estándar. Los artículos pequeños y comunes caben perfectamente en una caja. Un artículo de forma extraña o inusual podría necesitar dividirse en dos o tres cajas para encajar en el mismo sistema de embalaje. El número total de cajas (tokens) no se correlaciona limpiamente con el número de artículos (palabras) con los que empezaste.
Como regla general aproximada para la prosa ordinaria en inglés, espera aproximadamente de tres a cuatro tokens por cada cuatro palabras, lo que significa que los recuentos de tokens son algo más altos que los recuentos de palabras. Esa relación cambia para el texto que tiene muchas palabras raras, formato inusual, idiomas distintos del inglés o contenido estructurado, todo lo cual tiende a tokenizarse de manera menos eficiente que el inglés conversacional simple.
Dado que la tokenización opera sobre un vocabulario fijo aprendido de antemano, diferentes tipos de texto se tokenizan con diferentes densidades.
El inglés conversacional común, que se basa en gran medida en las palabras y patrones más frecuentes en los datos de entrenamiento, se tokeniza de manera eficiente: la mayoría de las palabras se mapean a un solo token. Los nombres propios poco comunes, las palabras inventadas o los términos de jerga especializada se tokenizan de manera menos eficiente, a menudo dividiéndose en dos, tres o más fragmentos, porque el vocabulario del tokenizador no reservó un token único dedicado para ellos.
El texto no inglés generalmente se tokeniza de manera menos eficiente que el inglés por la misma razón: el vocabulario se formó a partir de la mezcla general de texto de entrenamiento, y los idiomas que constituyen una menor parte de esa mezcla tienden a necesitar más tokens para representar la misma cantidad de significado.
Esta es también la razón por la que pegar código, tablas, datos estructurados o texto con formato intensivo en un chat puede consumir más tokens que la misma cantidad de prosa simple. Los símbolos repetidos, la indentación y las secuencias de caracteres inusuales no siempre se comprimen en tokens únicos como lo hacen las palabras comunes.
Las consecuencias de esta diferencia de densidad se manifiestan en tres lugares a la vez:
Nada de esto requiere que calcules recuentos exactos de tokens a mano. Claude.ai y la API subyacente muestran el uso de tokens directamente, y la conclusión práctica es más simple: el texto inusual, cargado de jerga, no inglés o con formato intensivo tiende a usar más tokens que el inglés simple de la misma longitud aparente.
Las elecciones de tokenización se integran en un modelo en el momento del entrenamiento y no son algo que configures por conversación.
Diferentes modelos de Claude comparten un enfoque similar en general para la tokenización, pero el impacto práctico de la densidad de tokens difiere según lo que estés haciendo con el modelo. Una pregunta de chat corta rara vez se ve afectada significativamente por la densidad de tokens. Una tarea de análisis de documentos largos, un gran texto pegado de datos estructurados o una solicitud que involucre otro idioma es exactamente donde la densidad de tokens comienza a importar tanto para el costo como para cuánto de la ventana de contexto sobrevive para la propia respuesta de Claude.
| Tipo de Texto | Densidad Típica de Tokens | Impacto Práctico |
|---|---|---|
| Inglés conversacional simple | Eficiente - cerca de la regla general de ~3-4 tokens por 4 palabras | Predecible, fácil de estimar |
| Jerga técnica, nombres propios raros | Menos eficiente - frecuentes divisiones en múltiples tokens | Costo y uso de contexto ligeramente mayores de lo esperado por el recuento de palabras solo |
| Prosa no inglesa | Generalmente menos eficiente que el inglés | Los costos y el uso de contexto son mayores por palabra que los equivalentes en inglés |
| Texto estructurado/formateado (tablas, código, datos densos) | A menudo menos eficiente | Puede consumir notablemente más de la ventana de contexto de lo que sugiere su longitud aparente |
Para cualquiera que trabaje con presupuestos ajustados: un texto de investigación largo, un análisis de múltiples documentos o un flujo de trabajo sensible al costo, la medida práctica es mantener el contenido pegado enfocado en lo que realmente se necesita, y favorecer un modelo con una ventana de contexto más grande (Claude Opus 4.8, Claude Sonnet 5 en configuraciones más grandes, o la ventana de 1 millón de tokens de Claude Fable 5) cuando el material lo requiera genuinamente, en lugar de intentar predecir manualmente los recuentos exactos de tokens.
Un token es un fragmento de texto que el modelo lee y genera; a menudo es una palabra corta completa, a veces un fragmento de palabra, un signo de puntuación o una parte de un número.
No. Las palabras cortas comunes suelen ser un solo token, pero las palabras más largas o menos comunes a menudo se dividen en dos o más fragmentos de token.
Como regla general, la prosa en inglés simple tiene entre tres y cuatro tokens por cada cuatro palabras, por lo que los recuentos de tokens son algo más altos que los recuentos de palabras.
Sí. Las comas, los puntos, los signos de interrogación y las comillas suelen contar como sus propios tokens separados.
Generalmente sí. El texto no inglés suele tokenizarse de manera menos eficiente que el inglés, porque el vocabulario refleja la mezcla general de texto de entrenamiento, que se inclina hacia el inglés.
Los modelos de Claude se facturan por millón de tokens de entrada y salida, por lo que más tokens para el mismo contenido significan un costo mayor, y el texto menos eficiente en tokens cuesta más por palabra que el texto eficiente en tokens.
Sí. Las respuestas generadas también se miden en tokens y están limitadas por un número máximo de tokens de salida, por lo que una respuesta densa en tokens puede alcanzar ese límite con menos palabras visibles que una respuesta eficiente en tokens.
Claude.ai y la API subyacente muestran información sobre el uso de tokens, por lo que no necesitas estimar manualmente si deseas una cifra exacta para una conversación determinada.
Sí. Dado que el vocabulario del tokenizador se basa en patrones comunes en el texto de entrenamiento, los nombres raros y las palabras inventadas tienen más probabilidades de dividirse en múltiples fragmentos de token que el vocabulario común.
No. El tamaño de la ventana de contexto determina cuántos tokens caben en total; no cambia cómo se divide un fragmento de texto dado en tokens en primer lugar.
No una simple que se pueda calcular a mano. La cifra de tres a cuatro tokens por cada cuatro palabras es una estimación aproximada útil para inglés simple, pero los recuentos exactos dependen del tokenizador específico y del texto real.
Versiones de Stack: Escrito contra la línea de modelos de Claude actual a partir de ~junio de 2026 - Claude Fable 5, Claude Opus 4.8, Claude Sonnet 5 (el predeterminado) y Claude Haiku 4.5. Los nombres de los modelos, los precios y las características del producto cambian rápidamente; verifica los detalles actuales en platform.claude.com/docs antes de confiar en ellos.