La inteligencia artificial puede perder calidad cuando aprende, cada vez más, de contenido producido por otras máquinas. Un estudio publicado en npj Artificial Intelligence concluye que ese proceso deteriora el rendimiento, pero también identifica una estrategia para contenerlo.

Cuando los modelos empiezan a aprender de copias

Durante años, el desarrollo de la inteligencia artificial se apoyó en libros, artículos, páginas web y conversaciones escritas por personas. Ese equilibrio cambia con rapidez a medida que crecen los textos, imágenes, comentarios y resúmenes generados por asistentes automáticos.

El problema aparece cuando esa producción sintética pasa a formar parte del material con el que se entrenan nuevas generaciones de modelos. Los investigadores comparan ese escenario con la endogamia: si el intercambio se restringe dentro de un mismo grupo, la diversidad cae y ciertos rasgos se refuerzan una y otra vez.

En la inteligencia artificial, ese riesgo implica que los algoritmos terminen nutriéndose sobre todo de salidas creadas por otros algoritmos. Con el tiempo, eso puede erosionar la riqueza estadística del corpus inicial.

La pérdida sensible a la confianza que frena el desgaste

Ese deterioro progresivo recibe el nombre de model collapse o colapso del modelo. No se trata de una falla brusca, sino de una degradación paulatina: las versiones nuevas conservan peor los ejemplos menos habituales, refuerzan patrones demasiado comunes y pierden parte de la variedad que tenían los datos originales.

Para contener ese efecto, los autores desarrollaron una familia de funciones de entrenamiento llamada Confidence-Aware Loss, o pérdida sensible al grado de confianza. La idea es simple: cuando el modelo encuentra secuencias demasiado previsibles, esas respuestas aportan poco valor nuevo, así que el entrenamiento les da menos peso.

La variante Truncated Cross-Entropy, o entropía cruzada truncada, reduce el peso de las predicciones excesivamente seguras y concentra el esfuerzo en los fragmentos que todavía aportan información útil.

Una mejora que no elimina el problema

Según los resultados, el método permitió que los modelos soportaran más de 2,3 veces una mayor proporción de información sintética antes de mostrar los efectos característicos del colapso. Eso no elimina el fenómeno, pero sí retrasa su aparición y amplía el margen para combinar contenido humano y automático sin perder rendimiento con la misma rapidez.

El equipo también publicó un banco de pruebas abierto para evaluar cómo evoluciona esa degradación cuando cambia la proporción entre material original y sintético. La herramienta busca facilitar comparaciones entre futuras propuestas y medir con más precisión cuáles funcionan mejor.

Los investigadores reconocen que su propuesta no es una solución definitiva. Aun así, el trabajo plantea una advertencia de fondo: en un entorno donde una parte creciente de Internet ya es escrita por máquinas, preservar fuentes originales puede volverse tan importante como mejorar las arquitecturas de los modelos.