Cómo funciona la destilación de modelos de IA y por qué desata demandas

El truco del profesor y el alumno detrás de la IA más barata

Entrenar un modelo de inteligencia artificial de última generación puede costar cientos de millones de dólares y requerir miles de chips especializados funcionando durante meses. Pero, ¿y si un modelo más pequeño y barato pudiera absorber la mayor parte de esa inteligencia en una fracción del tiempo? Esa es la promesa de la destilación del conocimiento, una técnica que ha sustentado silenciosamente algunos de los mayores avances de la IA y, más recientemente, algunas de sus batallas legales más feroces.

Cómo funciona la destilación

El concepto se formalizó en un artículo fundamental de 2015 de Geoffrey Hinton, Oriol Vinyals y Jeff Dean titulado Distilling the Knowledge in a Neural Network. La idea es engañosamente simple: tomar un modelo "profesor" grande y poderoso y usar sus resultados para entrenar un modelo "alumno" más pequeño.

En una configuración de entrenamiento estándar, un modelo aprende de etiquetas duras, respuestas claras como "esta imagen es un gato". Pero un modelo profesor produce algo más rico: etiquetas blandas, distribuciones de probabilidad completas que revelan no solo la respuesta correcta, sino también la confianza del modelo en todas las posibilidades. Una foto de un gato persa podría arrojar un 90% de gato, un 5% de perro, un 3% de zorro. Esas sutiles probabilidades secundarias conllevan lo que Hinton llamó "conocimiento oscuro", información sobre las relaciones entre categorías que las etiquetas duras simplemente no pueden transmitir.

Para extraer este conocimiento oscuro, los investigadores elevan un parámetro llamado temperatura en la función softmax del modelo. Las temperaturas más altas suavizan la distribución de probabilidad, haciendo que las señales sutiles sean más visibles para el alumno. Una vez que se completa el entrenamiento, la temperatura se reduce a la normalidad para su implementación.

Por qué es importante

La destilación resuelve un problema práctico: los modelos de IA de vanguardia suelen ser demasiado grandes y costosos para implementarse ampliamente. Un modelo con cientos de miles de millones de parámetros exige un hardware de servidor potente y consume una energía significativa. Los modelos destilados pueden ejecutarse en teléfonos inteligentes, dispositivos integrados o instancias de nube modestas, conservando gran parte de la capacidad del profesor.

Los resultados pueden ser sorprendentes. A principios de 2025, investigadores de Stanford y la Universidad de Washington utilizaron la destilación para recrear un modelo de razonamiento en solo 26 minutos por menos de 50 dólares en costos de computación. El modelo destilado de 7 mil millones de parámetros de DeepSeek superó a modelos varias veces más grandes en pruebas de razonamiento, lo que demuestra que un alumno bien entrenado puede rendir muy por encima de su peso.

Tres tipos de transferencia de conocimiento

• Destilación basada en la respuesta: El alumno aprende de las probabilidades de salida finales del profesor, el enfoque más común y directo.
• Destilación basada en características: El alumno imita las activaciones de la capa intermedia del profesor, capturando cómo el modelo representa internamente la información.
• Destilación basada en la relación: El alumno aprende las relaciones entre diferentes puntos de datos tal como los entiende el profesor, preservando el conocimiento estructural.

El punto álgido legal

La destilación se vuelve controvertida cuando una empresa utiliza el modelo de un competidor como profesor. Los términos de servicio de OpenAI prohíben explícitamente el uso de sus resultados para desarrollar modelos competidores. A principios de 2025, OpenAI acusó a DeepSeek, con sede en China, de destilar conocimiento de sus sistemas patentados. En febrero de 2026, tanto OpenAI como Anthropic habían señalado lo que llamaron campañas de destilación a "escala industrial" por parte de varias empresas chinas de IA, alegando esfuerzos coordinados que involucraban la creación de cuentas con guiones y la extracción masiva de prompts.

El terreno legal sigue sin estar definido. La destilación en sí no es intrínsecamente ilegal: es una técnica estándar de aprendizaje automático que se enseña en los cursos universitarios. La disputa se centra en cómo se obtienen los resultados del profesor: a través de una investigación legítima o a través de una extracción sistemática que viola los términos contractuales. En abril de 2026, Elon Musk testificó en un tribunal federal que su empresa xAI había utilizado la destilación de modelos de OpenAI para desarrollar su chatbot Grok, enmarcándolo como una práctica común en la industria.

Qué sigue

A medida que los modelos de IA se vuelven más grandes y costosos de entrenar, la destilación solo se volverá más importante, y más polémica. La técnica democratiza el acceso a la IA poderosa, permitiendo que las empresas emergentes y los investigadores construyan sistemas capaces sin presupuestos de miles de millones de dólares. Pero también plantea preguntas fundamentales sobre la propiedad intelectual en una industria donde el activo más valioso de un modelo no es su código, sino el conocimiento integrado en sus resultados. Los tribunales, los reguladores y la propia industria de la IA todavía están determinando dónde cae la línea entre el aprendizaje legítimo y la copia no autorizada.