El declive del ‘tokenmaxxing’: Empresas recortan gastos en IA ante el aumento de costos
A flex in corporate America, AI ‘tokenmaxxing’ fades as workplaces look to cut tech spending
La moda corporativa del ‘tokenmaxxing’ en tecnología de inteligencia artificial está llegando a sus límites, ya que las empresas que aplican IA en todo están viendo cómo los costos aumentan sin un aumento similar en la productividad. Lo que comenzó como un entusiasmo impulsado por la industria tecnológica en primavera por exprimir la mayor cantidad de trabajo generado por IA de productos como ChatGPT de OpenAI y Claude de Anthropic, ha cambiado a una reacción negativa en verano.
«Es muy fácil crear algo que no necesitas con IA», dijo Vincent Gusdorf, jefe de análisis de IA en Moody’s Ratings y autor de un nuevo informe que recomienda un enfoque más disciplinado. ‘Tokenmaxxing’ se refiere a maximizar el uso de tokens, que son los bloques de construcción de la IA generativa que corresponden a pequeñas piezas de texto que un sistema de IA lee o escribe. Cada token es aproximadamente tres cuartos de una palabra. Y generalmente hay un límite en la cantidad que puedes usar, con versiones más caras de productos de IA ofreciendo límites más altos.
«A medida que las facturas comenzaron a acumularse, la gente se dio cuenta de que esas nuevas herramientas son bastante caras y necesitas usarlas sabiamente», dijo Gusdorf. Hace solo unos meses, los ejecutivos de Silicon Valley promovían el alto consumo de tokens como una señal de empleados de alto rendimiento. El estereotipo del ‘tokenmaxxer’ se quedaba despierto hasta tarde, quizás ignorando a su pareja, mientras orquestaba un ejército de agentes de IA las 24 horas realizando trabajo en su nombre.
El CEO de OpenAI, Sam Altman, dijo en mayo que estaba «emocionado de ver qué sucederá con las startups de tokenmaxxing, tanto por cómo trabajan internamente como por los productos que pueden construir». El CEO de Nvidia, Jensen Huang, dijo: «si tu ingeniero de $500K no está quemando $250K en tokens, algo está mal». La empresa matriz de Facebook, Meta, tenía una competencia interna que recompensaba el uso de tokens.
La tendencia impulsó los ingresos de los principales desarrolladores de modelos de lenguaje de IA como Anthropic y OpenAI, pero se desvaneció al quedar claro que no era necesariamente la mejor estrategia para todos los demás. El CEO de Microsoft, Satya Nadella, ha admitido que el tokenmaxxing puede ser adictivo, pero advirtió en una reciente publicación de blog que los clientes de esos modelos están pagando dos veces por la IA, primero en gasto de tokens y segundo al alimentar todos sus datos propietarios a ellos. Mientras promovía el enfoque de Microsoft, los comentarios de Nadella fueron inusuales en la forma en que planteó dudas sobre las garantías de protección de datos de los principales proveedores de IA.
El CEO de Palantir, Alex Karp, fue más allá, diciendo a CNBC a principios de este mes que algo había ido «completamente mal». Dijo que estaba canalizando la voz de las empresas estadounidenses, en privado «furiosas» por pagar tanto por tokens que no crean valor.
La consultora de gestión de Bain & Company, Jue Wang, dijo que muchas de las grandes empresas que su firma asesora han estado examinando más de cerca los retornos de sus inversiones en IA. «El costo de los tokens para ellos se ha duplicado, casi cada dos meses», dijo. «Digamos $200 por desarrollador al mes. Multiplica eso por 20,000 desarrolladores, que es a menudo con lo que estamos tratando en estas empresas, y eso rápidamente te lleva a un número que no es un rubro que ningún gerente general haya planeado».
El desarrollador de software Hassan El Mghari dijo que el shock de las empresas por el «ridículo monto de dinero» gastado en suscripciones a productos de IA de las principales compañías estadounidenses ha llevado a muchos a alejarse de recompensar el alto uso. «Es mejor empoderar a los empleados sobre cómo usar estas cosas y dejar que usen la IA cuando y tanto como necesiten», dijo El Mghari, quien lidera la experiencia del desarrollador en la startup Together AI, que suministra a los desarrolladores una variedad de modelos de IA «de código abierto».
Al mismo tiempo, aquellos que favorecen acumular la mayor cantidad de tokens posible están teniendo un día de campo con nuevos modelos de código abierto de startups chinas como Kimi de Moonshot o GLM de Zhipu, que casi igualan las capacidades de los principales modelos estadounidenses a una fracción del precio.
«Hay cierta validez en la teoría de que esto podría empujar el tokenmaxxing un poco más», dijo Raffi Krikorian, director de tecnología de Mozilla. «Pero si observamos la industria en general, creo que está dándose cuenta de que el tokenmaxxing es una tontería». Es similar, dijo Krikorian, a cómo las empresas de software una vez consideraron cuántas líneas de código escribía un programador como una buena métrica de productividad. Eso luego cayó en desuso.
«Creo que el tokenmaxxing está pasando por el mismo patrón exacto», dijo. «Creo que esto va a ser un interesante bache que estamos a punto de superar».
