Lo que de verdad cuesta un token

Un token es un pedazo de palabra, y es lo que cobran los proveedores de IA. En inglés se gasta uno por palabra; en español, dos. Es un detalle que casi nadie revisa al armar un piloto, y explica muchas facturas inesperadas.

Andrés Wong, director de Inteligencia Artificial de Purple AI, lo resumió en el Tech & Wine Fest con una regla sencilla: si no sabes cuánto te cuesta, no tienes un producto, tienes una demostración.

Un chatbot sugiere; un agente reintenta

Un chatbot te dice qué hacer. Un agente lo hace, falla y vuelve a intentar. Con tokens de sobra, ese loop es poderoso; medido, es un problema, porque cada reintento se cobra.

El caso: de un día y medio a 13 segundos

Procesar un M3 de más de 100 partidas le tomaba un día y medio a una agencia aduanal. Purple AI lo atacó en rondas:

1. Manual: 1.5 días.
2. Ronda 1, agentes LLM: 1.5 horas.
3. Ronda 2, mejor algoritmo: 13 minutos.
4. Rediseño, el LLM decide y el código ejecuta: 13 segundos.

El rediseño nació de la factura: con agentes LLM, procesar un archivo pasó de 30 dólares a 11,500 pesos. La solución fue repartir el trabajo: el LLM decide y el código ejecuta.

Cómo bajar la cuenta

• Pide formatos estrictos de salida: JSON, XML o Markdown.
• Reduce el “pensamiento” del modelo cuando la tarea no lo necesita.
• Usa código para todo lo que no requiere criterio.

Cuando el agente olvida

Hay un costo menos visible. Cuando un agente compacta su contexto, puede guardar la tarea y olvidar la instrucción más importante, el “no borres esa tabla”. Wong citó el caso de una directiva de Meta: al compactar, su agente de correo olvidó sus instrucciones y vació la bandeja.

“Si no sabemos cuánto nos cuesta técnicamente y económicamente, es una demostración, no es producción.”

Andrés Wong, Purple AI