Former des modèles d'intelligence artificielle (IA) en utilisant des données générées par d'autres modèles d'IA peut conduire à un problème majeur connu sous le nom de "collapse du modèle". Ce problème survient lorsque les modèles d'IA, en particulier les grands modèles de langage (LLM) comme GPT-3 et GPT-4, sont entraînés sur des données produites par des modèles précédents plutôt que sur du contenu généré par des humains.

Le collapse du modèle se produit car, au fil du temps, les modèles d'IA commencent à perdre la capacité de comprendre et de générer des informations diversifiées et précises. Au lieu de cela, ils commencent à répéter les mêmes erreurs et malentendus présents dans les données des modèles antérieurs. Ce problème est d'autant plus préoccupant que les LLM contribuent de plus en plus de texte à Internet, créant une boucle de rétroaction où les modèles futurs sont entraînés sur des données défectueuses.

Des chercheurs d'Oxford, de Cambridge et d'autres institutions ont démontré cela en entraînant des modèles de langage sur plusieurs générations en utilisant des données générées par l'IA. Ils ont observé qu'avec chaque nouvelle génération, les modèles devenaient moins précis et plus enclins aux erreurs. Cette tendance s'est poursuivie même lorsque certaines données rédigées par des humains étaient incluses dans l'ensemble d'entraînement, ce qui indique que le problème est omniprésent.

Les résultats soulignent l'importance d'utiliser de vraies données générées par des humains pour entraîner les modèles d'IA. Sans cela, les modèles futurs risquent de devenir moins utiles et plus biaisés, en particulier en ce qui concerne les informations rares ou uniques. Pour lutter contre cela, les chercheurs suggèrent de développer de meilleures méthodes pour suivre et vérifier les sources des données utilisées dans l'entraînement des IA, s'assurant que le contenu produit par des humains reste un élément clé.

Cette découverte est cruciale pour le développement futur de l'IA, aidant à garantir que les modèles restent fiables et bénéfiques à mesure qu'ils deviennent plus intégrés dans divers aspects de nos vies.