Qué es un token en IA y cómo afecta el costo y la memoria

ChatGPT, Gemini o Claude no leen palabras: leen tokens. Entender qué es un token cambia la forma en que usás la inteligencia artificial: explica por qué a veces la IA "se olvida" de lo que le dijiste al principio, por qué escribir en español cuesta un poco más y cómo se calcula lo que paga una empresa cuando integra IA en sus sistemas.

Para que no quede en teoría, armamos Tokenia, una demo interactiva y gratuita donde escribís cualquier texto y ves en vivo cómo se divide en tokens. Te recomendamos tenerla abierta mientras leés.

Probá Tokenia en tokenia.ideasweb.com.ar →

Qué es un token en inteligencia artificial

Un token es la unidad mínima de texto que procesa un modelo de lenguaje (LLM). Puede ser una palabra entera, un pedazo de palabra, un signo de puntuación o incluso un espacio.

La forma más fácil de imaginarlo es con piezas de LEGO: el modelo no ve la casa terminada, ve las piezas. Algunas son grandes (una palabra común como "casa"), otras son chiquitas (un pedazo como "ción" o un signo como "¿"). Con un set limitado de piezas se puede armar cualquier texto, incluso palabras que el modelo nunca vio.

Por ejemplo, "¡Hola, mundo!" son 2 palabras pero 5 tokens: "¡", "Hola", ",", " mundo" y "!".

Cómo se divide un texto en tokens

El proceso se llama tokenización y lo hace un programa llamado tokenizador. Se parece a cuando en la primaria separabas palabras en sílabas, con una diferencia: sus "sílabas" no salen de la gramática, sino de mirar millones de textos. Los pedazos que aparecen muchísimo juntos quedan como una sola pieza.

• Palabras frecuentes, 1 token: "hola", "casa" o "the" suelen ser una sola pieza.
• Palabras largas o raras, varios tokens: "desafortunadamente" se corta en algo como "Des" + "afor" + "tunada" + "mente".
• Los espacios también cuentan: muchas veces el espacio viaja pegado a la palabra siguiente.

La técnica más usada para construir ese vocabulario se llama BPE (Byte Pair Encoding): arranca con caracteres sueltos y va uniendo los pares que más se repiten. Si la "q" y la "u" aparecen siempre juntas, terminan siendo una sola pieza "qu".

En el tokenizador en vivo de Tokenia podés escribir tu nombre, un email o un emoji y ver en cuántas piezas se parte.

Del texto a los números: tokens, IDs y embeddings

Una IA no sabe leer: solo hace cuentas. Por eso, antes de "pensar", convierte el texto en números en tres pasos:

1. Texto a tokens: el tokenizador corta la frase en piezas.
2. Tokens a IDs: cada pieza tiene un número fijo en el vocabulario del modelo. Es como el número de legajo: el sistema no te busca por "Juan Pérez", te busca por tu número.
3. IDs a embeddings: cada número se transforma en un vector, una lista larga de valores que representa su significado. Tokens con significados parecidos, como "perro" y "gato", tienen vectores parecidos.

Recién con esos vectores el modelo empieza a trabajar.

La IA escribe un token por vez

Un modelo de lenguaje no tiene la respuesta armada de antemano: la construye token por token. Funciona como el autocompletar del teclado del celular, pero muchísimo más potente: calcula la probabilidad de cada token posible, elige uno, lo agrega a la frase y vuelve a predecir el siguiente.

Si la frase es "El cielo es de color…", el modelo le asigna mucha probabilidad a "azul", algo menos a "celeste" o "gris" y muy poca a "verde". Ahí entra la temperatura: con temperatura baja el modelo es prudente y casi siempre elige la opción más probable; con temperatura alta se anima a opciones menos esperables, lo que da respuestas más creativas pero también más impredecibles.

La ventana de contexto: por qué la IA "se olvida"

Todo modelo tiene un límite de tokens que puede tener en cuenta a la vez: la ventana de contexto. Ahí entran tu mensaje, las instrucciones, los documentos adjuntos, el historial de la conversación y la respuesta que está generando.

Pensalo como una pizarra de tamaño fijo: cuando se llena, hay que borrar lo de arriba para seguir escribiendo. Los modelos actuales tienen pizarras enormes, de cientos de miles de tokens, pero el límite existe. En conversaciones o documentos muy largos lo más antiguo puede quedar afuera, y por eso a veces la IA parece olvidar algo que le dijiste al principio.

Consejo práctico: en chats largos, repetí los datos importantes o abrí una conversación nueva con un resumen del contexto.

Por qué en español se usan más tokens

La regla práctica más citada es que, en inglés, 1 token equivale a unos 4 caracteres, o ¾ de palabra: 100 tokens son unas 75 palabras. En español la cuenta es menos favorable.

La razón es que los tokenizadores se entrenaron con mucho más texto en inglés, así que tienen más "piezas grandes" para ese idioma. La misma idea puede ocupar el doble de tokens según cómo esté escrita:

Aclaración: cada modelo (GPT, Claude, Gemini, Llama) tiene su propio tokenizador, así que los números exactos cambian de uno a otro. El comportamiento general, en cambio, es el mismo.

Tokens y costos: cómo se cobra la IA por API

Si usás la IA desde la app con una suscripción, los tokens no se ven. Pero cuando una empresa integra IA en sus sistemas (un asistente de WhatsApp, un agente de ventas, la automatización de un proceso), se conecta por API, y ahí se paga por token.

Funciona como un taxi con taxímetro, con dos contadores:

• Tokens de entrada: todo lo que le enviás al modelo, es decir la pregunta, las instrucciones, los documentos y el historial.
• Tokens de salida: lo que el modelo responde. Suelen costar bastante más que los de entrada.

La fórmula es simple: costo = (tokens de entrada × precio de entrada) + (tokens de salida × precio de salida), con precios que normalmente se publican en dólares por millón de tokens. Una consulta suelta cuesta centavos o fracciones de centavo, pero multiplicada por cientos de consultas diarias de clientes, la diferencia entre un diseño eficiente y uno descuidado se nota en la factura.

En la calculadora de costos de Tokenia podés cargar cuántas consultas por día esperás y estimar el gasto mensual de un proyecto.

Cómo ahorrar tokens en un proyecto con IA

• Instrucciones claras y concisas: un prompt de sistema largo se paga en cada consulta.
• Enviar solo el contexto necesario: en vez de mandar un manual entero, buscar y enviar los fragmentos relevantes.
• Limitar el largo de la respuesta cuando no hace falta una explicación extensa.
• Elegir el modelo adecuado para cada tarea: no todas necesitan el modelo más grande y más caro.
• Resumir historiales largos en lugar de reenviar toda la conversación.

Probá todo esto en Tokenia

Armamos Tokenia para que estos conceptos se entiendan jugando. Es gratis, funciona en el celular y no necesitás registrarte. Incluye:

• Tokenizador en vivo: colorea cada token mientras escribís.
• Del texto a los números: el recorrido de tokens a IDs y vectores, paso a paso.
• Predicción del próximo token: un simulador con control de temperatura.
• Ventana de contexto: una conversación simulada para ver cuándo la IA "se olvida".
• Calculadora de costos: para estimar el gasto de un proyecto por API.
• Quiz y glosario: para repasar lo aprendido.

Es ideal para capacitar a tu equipo antes de empezar un proyecto con IA, o para docentes que quieran explicar cómo funcionan los modelos de lenguaje.

Cómo usamos la IA en Ideas Web

Entender los tokens es el primer paso para diseñar soluciones de IA que funcionen bien y no se disparen en costos. En Ideas Web desarrollamos agentes de IA para empresas, asistentes con IA para WhatsApp y automatización de procesos, pensados para que cada token cuente. Si tu empresa está ordenando cómo adopta la IA, también te puede servir nuestra nota sobre el rol del Chief AI Officer.

Conclusión

Los tokens son la moneda con la que funciona la inteligencia artificial: definen qué entiende el modelo, cuánto puede recordar y cuánto cuesta usarlo. Con esa base es mucho más fácil escribir mejores pedidos, entender sus límites y diseñar proyectos de IA que rindan sin sorpresas en la factura.

¿Querés sumar IA a tu empresa y estimar cuánto costaría? Escribinos y lo vemos juntos.