Entrenar modelos de inteligencia artificial (IA) utilizando datos generados por otros modelos de IA puede llevar a un problema importante conocido como "colapso de modelo". Este problema surge cuando los modelos de IA, particularmente los modelos de lenguaje grandes (LLMs) como GPT-3 y GPT-4, son entrenados con datos producidos por modelos anteriores en lugar de contenido generado por humanos.

El colapso de modelo ocurre porque, con el tiempo, los modelos de IA comienzan a perder la capacidad de entender y generar información diversa y precisa. En su lugar, empiezan a repetir los mismos errores y malentendidos presentes en los datos de modelos anteriores. Este problema es especialmente preocupante ya que los LLMs contribuyen cada vez más con texto en internet, creando un ciclo de retroalimentación donde los modelos futuros son entrenados con datos defectuosos.

Investigadores de Oxford, Cambridge y otras instituciones demostraron esto al entrenar modelos de lenguaje a lo largo de varias generaciones utilizando datos generados por IA. Observaron que con cada nueva generación, los modelos se volvían menos precisos y más propensos a cometer errores. Esta tendencia continuó incluso cuando se incluyó algún dato escrito por humanos en el conjunto de entrenamiento, lo que indica que el problema es generalizado.

Los hallazgos enfatizan la importancia de utilizar datos generados por humanos reales para entrenar modelos de IA. Sin esto, los modelos futuros corren el riesgo de volverse menos útiles y más sesgados, especialmente en lo que respecta a información rara o única. Para combatir esto, los investigadores sugieren desarrollar mejores métodos para rastrear y verificar las fuentes de datos utilizadas en el entrenamiento de IA, asegurando que el contenido producido por humanos siga siendo un componente clave.

Este descubrimiento es crucial para el desarrollo futuro de la IA, ayudando a garantizar que los modelos sigan siendo fiables y beneficiosos a medida que se integran más en varios aspectos de nuestras vidas.