Addestrare modelli di intelligenza artificiale (AI) utilizzando dati generati da altri modelli di AI può portare a un grave problema noto come "collasso del modello". Questo problema si verifica quando i modelli di AI, in particolare i modelli di linguaggio di grandi dimensioni (LLM) come GPT-3 e GPT-4, vengono addestrati su dati prodotti da modelli precedenti anziché su contenuti generati dagli esseri umani.

Il collasso del modello si verifica perché, col passare del tempo, i modelli di AI iniziano a perdere la capacità di capire e generare informazioni diversificate e accurate. Invece, cominciano a ripetere gli stessi errori e malintesi presenti nei dati dei modelli precedenti. Questo problema è particolarmente preoccupante poiché gli LLM contribuiscono sempre di più con testo su Internet, creando un ciclo di retroazione in cui i modelli futuri vengono addestrati su dati difettosi.

I ricercatori di Oxford, Cambridge e altre istituzioni hanno dimostrato questo addestrando modelli di linguaggio attraverso diverse generazioni utilizzando dati generati dall'AI. Hanno osservato che ad ogni nuova generazione, i modelli diventavano meno accurati e più inclini a commettere errori. Questa tendenza è continuata anche quando alcuni dati scritti da umani sono stati inclusi nel set di addestramento, indicando che il problema è diffuso.

I risultati sottolineano l'importanza di utilizzare dati reali generati da esseri umani per addestrare i modelli di AI. Senza questo, i modelli futuri rischiano di diventare meno utili e più parziali, specialmente riguardo a informazioni rare o uniche. Per combattere questo, i ricercatori suggeriscono di sviluppare metodi migliori per tracciare e verificare le fonti dei dati utilizzati nell'addestramento dell'AI, assicurando che i contenuti prodotti dagli esseri umani rimangano un componente chiave.

Questa scoperta è cruciale per il futuro sviluppo dell'AI, aiutando a garantire che i modelli rimangano affidabili e utili man mano che diventano più integrati in vari aspetti delle nostre vite.