La obsesión por la destilación en IA: ¿Amenaza o avance tecnológico?
From Silicon Valley to DC, the tech world is suddenly obsessed with one concept in AI: Distillation
La rápida aparición de Kimi K3 de Moonshot AI ha puesto el foco en la destilación, un tema candente tanto en Silicon Valley como en Washington D.C. Esta técnica, que permite a los desarrolladores crear modelos competitivos utilizando las respuestas de chatbots o productos de trabajo de modelos avanzados, ha generado un debate intenso entre tecnólogos y legisladores.
Moonshot AI, un laboratorio chino, ha lanzado modelos de peso abierto que son más económicos que los de OpenAI y Anthropic, lo que ha llevado a algunos funcionarios gubernamentales a acusar a Moonshot de «robo de propiedad intelectual estadounidense» al incorporar el modelo Fable de Anthropic en su desarrollo de K3.
El jefe de inteligencia artificial de Google, Jeff Dean, ya había discutido la destilación a principios de año, señalando que es una técnica clave para mejorar el rendimiento de los sistemas sin depender de un único modelo de reconocimiento de imágenes de gran tamaño. Dean explicó que «a través de la destilación, que es una técnica clave para hacer que los modelos más pequeños sean más capaces, se debe tener el modelo de frontera para luego destilarlo en su modelo más pequeño».
La controversia se intensificó la semana pasada cuando Moonshot AI lanzó Kimi K3, que rápidamente se consideró competitivo con los mejores modelos comerciales de Anthropic y OpenAI. A diferencia de las empresas estadounidenses líderes en IA, que venden acceso a modelos propietarios, Moonshot y otros laboratorios chinos ofrecen modelos de peso abierto que permiten a los usuarios descargar la tecnología, modificarla y ejecutarla donde deseen.
En respuesta, los gigantes tecnológicos como Nvidia, Microsoft, Meta y Palantir, junto con más de 20 otras empresas, publicaron una carta instando a los legisladores a evitar «restricciones prematuras» sobre los modelos de peso abierto que «sofocarían la competencia o impulsarían la innovación al extranjero».
La destilación, definida como el uso de las salidas de un modelo para ayudar a entrenar o mejorar otro, se utiliza ampliamente para la mejora, evolución y validación de modelos. Sin embargo, la técnica plantea un dilema para los legisladores estadounidenses, que han estado preocupados por el robo de propiedad intelectual y las cuestiones de seguridad nacional relacionadas con la tecnología china.
Según Colin Shea-Blymyer, investigador del Centro de Seguridad y Tecnología Emergente de Georgetown, el gobierno estadounidense está tratando de definir su posición. «El gobierno podría argumentar que las empresas chinas y rusas han utilizado las salidas de modelos estadounidenses para hacerse más competitivas, y por lo tanto tienen una ventaja injusta», dijo Shea-Blymyer.
A pesar de las preocupaciones, la destilación se ha incorporado en la creación de modelos propios por muchas empresas, como Nvidia, que utilizó esta técnica en su serie de modelos Llama Nemotron.
